Originalmente construído como uma fortaleza militar para a família guibelina dos Dotti di Sansepolcro, o Castelo Bufalini foi destruído por ordem da República Florentina no final do século XV. Mais tarde, em 1487, passou a ser propriedade de Niccolò di Manno Bufalini, que iniciou um processo de reconstrução seguindo o projeto do arquiteto romano Mariano Savelli e as indicações de dois especialistas em arquitetura militar, Giovanni e Camillo Vitelli. A fortaleza apresentava-se como um quadrado irregular com quatro torres nos cantos, uma das quais maior, rodeada por um grande fosso com água.
A história deste edifício está ligada à família Bufalini, que ocupava altos cargos nos campos eclesiástico, literário e jurídico. Na década de 1530, a fortaleza foi transformada numa residência nobre, de acordo com os desejos de Júlio I e do seu irmão, o Abade Ventura Bufalini. Foram feitas alterações tanto no interior como no exterior, com a inserção de uma arcada na fachada e uma entrada monumental no centro.
Hoje, o complexo está organizado de acordo com o gosto de uma antiga residência nobre. Destaca-se o Jardim italiano, onde se pode admirar o jardim de rosas, a galeria vegetal conhecida como voltabotte, o chamado "paraíso" e o labirinto.