Il palazzo, iniziato nel 1560 da monsignor Tommaso del Giglio che fece costruire un edificio forse su disegno del Vignola (Jacopo Barozzi da Vignola, Modena, 1507-1573), fu completato per volontà del cardinale spagnolo Pietro Dezza da Martino Longhi il Vecchio (1586-1600). Successivamente fu acquistato dal cardinale Camillo Borghese, nel 1596, assicurando che sarebbe sempre stato alieno da nepotismo; ma quando divenne papa (Paolo V, 1605-1621) favorì i vari familiari e donò il suo sontuoso palazzo ai fratelli Orazio e Francesco, fornendo loro anche un'ingente somma di danaro. I successivi lavori di ampliamento del palazzo furono affidati a Flaminio Ponzio (1606-1613), al quale si deve l'ala su Piazza Borghese, detta opera comportò tempi lunghi, che videro impegnati anche architetti come Carlo Maderno e Carlo Rainaldi. Per la sua forma particolare il palazzo ebbe l'appellativo di "cembalo", infatti il vastissimo palazzo ha la forma paragonabile a quella di un cembalo, con la parte terminale, affacciata sulla zona un tempo animata dal porto di Ripetta, a forma di "tastiera". E con tale denominazione rientra nelle cosiddette "quattro meraviglie" di Roma che venivano segnalate fino al secolo scorso: «Il Cembalo Borghese, il Dado di Farnese (è il gran cubo del Palazzo Farnese nella piazza omonima), la Scala di Caetani (quella dell'attuale Palazzo Ruspoli tra via del Corso e via di Fontanella di Borghese) e il Portone Carbognani (è quello di Palazzo Sciarra in via del Corso). » Nel palazzo soggiornò per qualche tempo Paolina Bonaparte, sorella di Napoleone e sposa del principe Camillo Borghese. La donna un po' frivola e leggera non andò d'accordo con l'austero e bigotto principe romano, e fece parte per se stessa. Alla fine, tentò di riunirsi al marito, oberata dai molti debiti e, licenziata la servitù, i medici, i cavalieri e le dame che componevano il suo seguito (come le aveva imposto il marito) arrivò al palazzo di via Ripetta ricevuta affabilmente da lui. Ma, quando ebbe esaminato l'appartamento che le era stato destinato e volle passare dal marito, per ringraziarlo, trovò che tutte le porte di comunicazione erano state murate! Dopo un po' le fu concesso di andarsene via.