Il est notoirement difficile d'identifier les différentes phases de la construction de ce complexe architectural, car son aspect actuel est le résultat d'une série d'ajouts et de modifications apportées à un noyau d'origine, datant de la fin du XIIe siècle, et reconnaissable à la base du donjon, la tour la plus solide du château. La conception de cette forteresse, un quadrilatère entouré de tours aux angles, représente l'une des expressions les plus classiques de l'architecture militaire du XIVe siècle.
Appartenant aux Malatesta jusqu'en 1463, lorsque Frédéric de Montefeltro les a vaincus, la forteresse est passée aux Sforza de Pesaro. En 1494, Giovanni Sforza effectua d'importants travaux de rénovation pour accueillir Lucrezia Borgia, dont il reste aujourd'hui les armoiries et les inscriptions dans la cour, ainsi que quelques peintures murales d'une grande valeur historique et artistique, comme la frise avec la Passion du Christ et la scène de Bataille peinte par Amico Aspertini et ses élèves. Ces témoignages indiquent qu'à la fin du XVe siècle, la forteresse avait perdu son caractère défensif au profit d'une fonction résidentielle.
Entre 1921 et 1923, la forteresse fut soumise à une rénovation complète, menée par Umberto Zanvettori, qui s'occupa également de l'ameublement des pièces, et en particulier de celles de l'étage noble, qui furent aménagées avec un goût dannunzien riche en suggestions. Une légende assez récente raconte que les murs de la demeure auraient été témoins de l'histoire tragique de Paolo et Francesca, les deux amants chantés par Dante dans le V Canto dell'Inferno, commémorés dans une pièce qui reproduit le cadre et les éléments de la tragédie de Francesca da Rimini. En 1928, la forteresse fut achetée par l'État italien.