Il giardino degli aranci sorge su un area dove sorgeva su un antico castello fatto costruire dai Crescenzi nel X secolo, tra il 1285 e il 1287 la famiglia dei Savelli eressero un fortilizio a difesa del loro casato. Da questo parco si gode un bel panorama di Roma, dalla dorsale della Trinità dei Monti e di Villa Medici a destra, allo sfondo del Gianicolo o di Monte Mario sulla sinistra.