Costruito nel 1660 da Giovanni Antonio De Rossi per la famiglia D'Aste, passò in seguito ai Rinucci e nel 1818 alla madre di Napoleone I Bonaparte, Letizia Ramolino, che qui visse, dopo la caduta del figlio, morendovi nel 1836. 

Il Palazzo presenta un'elegante architettura, a tre piani, con finestre a timpano e riccamente modulato; è caratterizzato da un balcone coperto al primo piano, uno dei pochi ancora superstiti, chiamati "bussolotti" o"mignani", e da un belvedere in alto su cui si legge "Bonaparte".