Costruito nel 1523 per il prelato francese Tommaso Le Roy, su progetto di Antonio da Sangallo il Giovane (1483-1546), il Palazzetto sorge su resti di età romana tra i quali è stato scoperto un bel portico.

I gigli della Francia che erano posti sulla facciata furono confusi con i simboli araldici dei Farnese e per questo il Palazzo fu detto "Piccola Farnesina". 

Nonostante la parziale demolizione effettuata tra il 1898 ed il 1905, sono ancora ben riconoscibili gli elementi rinascimentali. Pur nelle dimensioni piuttosto ridotte, il Palazzetto si presenta con un’elegante armonia.

Attualmente è sede del Museo di Scultura Antica Giovanni Barracco, conservando la Collezione di sculture antiche che nel 1905 il barone Giovanni Barracco diede alla città.