Sono formati da sei vani quadrilateri con volte a botte disposti su due file e ricavati in età adrianea e nel sec. III, suddividendo con muri in laterizio parte di un monumentale portico (sec. I). I vani centrali furono trasformati a inizi V secolo in chiesa con l'aggiunta di un'abside posta sotto l'ingresso attuale al tempio, ma nell'XI secolo con la ricostruzione del complesso a un livello superiore vennero in gran parte murati. A Pietro da Cortona si deve la sistemazione dell'oratorio sotterraneo, al quale si accede dagli ingressi laterali nel portico. L’interno era decorato con affreschi databili tra il VII e il IX secolo, ora collocati presso il Museo Nazionale Romano - Crypta Balbi; in uno degli ambienti si trovano un pozzo e una colonna legati al ricordo della presunta prigionia di S. Paolo, in loco.