Quella dei Cesi fu una delle grandi famiglie che si distinsero in Roma, nel Cinquecento, per l'attività edilizia e per l'amore dell'arte e delle collezioni di antichità. Ne è prova il fatto che un suo rappresentante, il Cardinale Federico, antenato del Linceo, godesse di fama presso i suoi contemporanei più per la sua munificenza che per la posizione occupata nel Sacro Collegio e nella Curia romana: gran parte delle sue ingenti sostanze fu, infatti, profusa in costruzioni e in opere d'arte, nonché nella raccolta di marmi antichi, iniziata dal fratello, il Cardinale Paolo Emilio, e successivamente arricchita di pezzi rari e preziosi. Le sculture erano sistemate, in parte, nel giardino retrostante il palazzo che i Cesi possedevano presso la porta Cavalleggeri (eretto dal Cardinale di San Giorgio detto Alessandrino, morto nel 1511; acquistato dal Cardinale Paolo Emilio nel 1517), in parte, nei locali del cosiddetto Antiquarium, edificio appositamente costruito tra il 1545 e il 1550, accanto al palazzo, dal Cardinale Federico, per essere destinato a museo, probabilmente il primo del genere di cui si abbia notizia.
Il giardino e l'Antiquario costituivano una tappa d'obbligo per i visitatori stranieri e rappresentavano la meta favorita degli artisti, specialmente nordici, che venivano a Roma a riscoprire le bellezze dell'antichità classica. Passata, dopo la morte del Cardinale Federico, al nipote ed erede universale Angelo di Giangiacomo Cesi, signore di Monticelli, la raccolta fu ereditata, alla sua morte, dal figlio Federico, 1° Duca di Acquasparta, padre del Linceo, che nel 1622 cominciò a cedere un cospicuo complesso di sculture al Cardinale Ludovico Ludovisi, che andava sistemando la sua villa pinciana: fu l'inizio della dispersione della raccolta; ma questo nucleo si è fortunatamente salvato, essendo stato acquistato nel 1901, con la collezione Ludovisi, dallo Stato e si conserva ora nel Museo Nazionale Romano.
Nel 1630, il palazzo di Porta Cavalleggeri, passò al 3° Duca di Acquasparta, Giovanni Federico, morto nel 1656, e da lui al figlio Federico Maria che, nel 1666, lo lasciò al fratello Giuseppe Angelo, morto nel 1705.
Una parziale demolizione del palazzo risale al 1667, quando fu costruita l'esedra sinistra del colonnato del BERNINI. Questo evento coincise con la crisi economica della famiglia Cesi che dopo il 1674 fu costretta a cedere quasi tutti i suoi feudi, tra cui il palazzo presso S. Pietro che fu venduto nel 1716 ai monaci del Monte Libano e nel 1881 fu acquistato dai Padri Agostiniani. Nel 1799, il ramo romano della famiglia si estingueva con Federico Cesi Muti, 9° Duca di Acquasparta e Duca di Rignano.
Le antichità superstiti, conservate nel palazzo e nel giardino adiacente, andarono progressivamente disperse in varie raccolte.
