Nel XIV secolo la famiglia dei Savelli costruì sull'Aventino il suo castello, rendendo così il colle una fortezza imprendibile. Le grosse mura medievali cingono ora Parco Savello (detto anche Giardino degli Aranci), piccolo giardino rettangolare molto frequentato perché dal belvedere affacciato sul fiume si gode una splendida vista di Roma che va dall'ansa del Tevere alla Basilica di San Pietro. Gli alberi che gli danno il nome sono stati piantati a ricordo di San Domenico, che fondò qui il proprio convento.
 
Il parco fu realizzato nel 1932 su progetto dell'architetto Raffaele De Vico, che ha valorizzato lo spazio racchiuso tra le antiche mura. Nel muro di recinzione, sul lato opposto alla parete laterale e all'abside di S. Sabina, sono chiaramente riconoscibili le tracce delle torri e del ponte levatoio del castello. 

Le mura recano i segni di un successivo intervento di sistemazione della zona, realizzato alla fine del cinquecento dall'architetto Fontana per incarico di Sisto V. In seguito alla grande opera di spianamento, le fondamenta delle mura si trovarono da un lato allo scoperto, mentre dall'altro il livello della porta d'ingresso salì di oltre tre metri dal nuovo piano stradale, come si può constatare osservando il muro dall'esterno, nell'ultimo tratto del clivo di Rocca Savella. 

Oltre alla cinta muraria, del castello duecentesco e dei suoi successivi ampliamenti sono rimasti soltanto alcuni granai e magazzini sotterranei, mentre l'edificio venne quasi integralmente demolito nel 1613.

Usciti dal Giardino degli Aranci, si gira a destra e si giunge nella Piazza dei Cavalieri di Malta (progettata dal celebre incisore Giovan Battista Piranesi nel 1765). Dalla serratura del portone che introduce alla Villa dei Cavalieri si può vedere la cupola di San Pietro, incorniciata dalle siepi dei giardini.