Il palazzo fu fatto costruire dalla famiglia Caffarelli nel 1515 su progetto di Lorenzo Lotto, allievo di Raffaello. In questa residenza avvenne nel 1536 l'incontro tra il papa Paolo III Farnese e l'Imperatore Carlo V. Nel 1767 il palazzo fu venduto al cardinale Stoppani e nel 1816 al cardinale Vidoni. 

Nel 1886, in seguito alle demolizioni per l'allargamento di corso Vittorio Emanuele, il nuovo proprietario Carlo Giustiniani Bandini incaricò l'architetto Francesco Settimi di progettare e ricostruire la facciata sul corso e su piazza Vidoni. In questa occasione l'edificio venne anche sopraelevato di un piano. 

La facciata originale cinquecentesca è dunque solo quella che affaccia su via del Sudario, mentre quelle su via del corso Vittorio Emanuele e su piazza Vidoni riprendono, con alcune varianti, la facciata cinquecentesca di stampo raffaellesco. 

Il piano terreno presenta un basamento bugnato con porte ad arco alternate a finestre con timpano triangolare; al primo piano sono finestre architravate affiancate da doppie colonne, mentre sulle facciate di via del Corso Vittorio e di piazza Vidoni le finestre sono affiancate da doppie lesene doriche. Al secondo piano finestre rettangolari e finestrini. 

Lungo tutto l'edificio corre un cornicione a mensole a coronamento delle tre facciate. All'interno alcune sale presentano affreschi di Anton Raphael Mengs e della scuola di Perin del Vaga.

Prima della seconda guerra mondiale il palazzo fu sede della Direzione del Partito Nazionale Fascista.

Oggi accoglie vari uffici ministeriali.