L'edizione attuale dell'edificio è il frutto di numerosi interventi realizzati nell'Ottocento, ma si possono ancora distinguere le parti in cui operò l'architetto Michelozzo. Così i motivi dei merli e dei beccatelli si trasformano in elementi decorativi e si fondono con le semplici cornici delle finestre, sorrette da mensole, e con gli elementi di arredo interno (camini in pietra) che caratterizzano i vani al piano terreno (attribuibili alla sistemazione michelozziana).

La villa fu luogo di liete adunanze di gentildonne e mercanti, capitani e letterati, artisti, cardinali, principi e papi, per convegni di caccia, simposi e feste contadinesche e soprattutto, dimora per soggiorni estivi e autunnali della casata dei Medici. Alla mensa Luigi Pulci leggeva il suo Morgante, Lorenzo componeva canti carnascialeschi; vi soggiornarono il Poliziano, Marsilio Ficino, Pico della Mirandola e nel 1515 vi sostò Leone X. In una stanza del secondo piano fu pugnalata dal marito Piero de' Medici nel 1576 Dianora di Toledo.
Passato ai Lorenesi, nel 1778 il Granduca vi ricevette il fratello Giuseppe, Imperatore d'Austria e, più tardi, Leopoldo II, il Re e la Regina di Napoli diretti al Nord. Fu poi posta all'asta dal governo italiano e acquistata dal principe Marcantonio Borghese.

Cafaggiolo, nel periodo di maggior fulgore, tra la fine del XV e l'inizio del XVI secolo, ospitò anche la fabbrica delle famose maioliche, che si serviva di una fornace nella quale più tardi Ferdinando I avviò una manifattura di specchi e vetri con maestri francesi.

Dietro la villa c'è un vasto e folto bosco selvatico cinto da mura e destinato agli svaghi della caccia in cui si dedicavano i membri della famiglia medicea.