Realizzato nel 1605, sui resti delle antiche Terme di Costantino, su progetto di Flaminio Ponzio per il cardinal Scipione Borghese, fu abbellito da Giovanni Vasanzio con un giardino a terrazze degradanti. 

Il Palazzo appartenne poi agli Altemps, ai Bentivoglio, ai Lante, al Cardinal Mazzarino, ai Mancini e infine ai Rospigliosi Pallavicini che lo ingrandirono e lo arricchirono di notevoli decorazioni pittoriche tra cui quelle di Orazio Gentileschi, Paolo Brill e Antonio Tempesti che vi affrescò il "Trionfo dell'Amore e della Fama".

Il Palazzo si presenta con le facciate sobrie, con bugnato a tutt’altezza sui lati e un porticato centrale. Al primo piano ospita la Galleria Pallavicini con opere, tra gli altri, di Botticelli, Rubens, Caravaggio e Tiziano.
All’interno del giardino è situato invece il celebre Casino dell'Aurora col soffitto affrescato da Guido Reni.