I Pamphilj erano un'antica famiglia nobiliare di Roma, di origine umbra, strettamente intrecciata alla politica pontificia. Nel 1470 Antonio Pamphili procuratore fiscale di papa Innocenzo VIII si arricchì con l'acquisto di immobili nella zona di Parione. Il palazzo di piazza Navona fu costruito nel 1650 da Girolamo Rainaldi (1570-1655) per la famiglia Pamphili, conglobando la casa della famiglia con altre vicine appartenenti ai Millini, ai Cybo. Il 6 maggio 1574 il cardinale Giovan Battista Pamphilj fu eletto papa, con il nome di Innocenzo X. Trasformò nel 1650 il palazzo di famiglia in una reggia, dove regnò come una papessa sua cognata Donna Olimpia Maidalchini, vedova del fratello Pamphilio Pamphili. Donna Olimpia è stata la principale artefice dell'elezione a Papa del cognato. In seguito fu il personaggio più influente della Curia, una vera papessa, che non solo si fece donare dal papa questo palazzo ma approfittò della sua debolezza arricchendosi alle sue spalle. Donna Olimpia veniva definita di volta in volta “Pimpaccia” o “Papessa”, per sottolineare, in modo ironico, il suo ruolo accanto al pontefice, una pasquinata cosi la descrive:
Per chi vuol qualche grazia dal sovrano/aspra e lunga è la via del Vaticano;/ma se è persona accorta,/corra da Donna Olimpia a mani piene/e ciò che vuole ottiene.
La famiglia Pamphili si estinse nel 1760. Il palazzo fu utilizzato dal Vaticano per ospitare i vari cardinali. Poi vi ebbe sede la Società Musicale di Roma e, infine l'acquistò nel 1960 l'Ambasciata del Brasile.