Construit à l'origine comme une forteresse militaire pour la famille gibelaine des Dotti di Sansepolcro, le château Bufalini a été détruit sur ordre de la République florentine à la fin du XVe siècle. Plus tard, en 1487, elle est passée sous la propriété de Niccolò di Manno Bufalini, qui a commencé un processus de reconstruction en suivant la conception de l'architecte romain Mariano Savelli et les indications de deux experts en architecture militaire, Giovanni et Camillo Vitelli. La forteresse se présentait comme un carré irrégulier avec quatre tours aux angles, dont l'une plus grande, entouré d'un large fossé rempli d'eau.
L'histoire de ce bâtiment est liée à la famille Bufalini, qui occupait de hautes fonctions dans les domaines ecclésiastique, littéraire et juridique. Dans les années 1530, la forteresse fut transformée en résidence noble, conformément aux souhaits de Jules Ier et de son frère, l'abbé Ventura Bufalini. Des modifications ont été apportées à l'intérieur et à l'extérieur, avec l'ajout d'une loggia sur la façade et d'une entrée monumentale au centre.
À ce jour, le complexe est aménagé selon le goût d'une ancienne demeure nobiliaire. Il convient de noter le jardin à l'italienne où l'on peut admirer la roseraie, la galerie végétale appelée voltabotte, le soi-disant « paradis » et le labyrinthe.