É notoriamente difícil identificar as várias fases de construção deste complexo arquitetónico, uma vez que a aparência atual é o resultado de uma série de aumentos e modificações feitas a um núcleo original, que remonta ao final do século XII, e reconhecível na base da torre de menagem, a torre mais sólida do castelo. O desenho desta fortaleza, um quadrilátero rodeado por torres nos cantos, representa uma das expressões mais clássicas da arquitetura militar do século XIV.
Pertencente à família Malatesta até 1463, quando Federico di Montefeltro os derrotou, a fortaleza passou para a família Sforza de Pésaro. Em 1494, Giovanni Sforza realizou importantes obras de renovação para acolher Lucrécia Bórgia, cujos brasões e inscrições ainda permanecem no pátio, bem como algumas pinturas murais de grande valor histórico e artístico, como o friso com a Paixão de Cristo e a cena da Batalha pintada por Amico Aspertini e os seus alunos. Estes testemunhos indicam que, no final do século XV, a fortaleza tinha perdido o seu caráter defensivo em favor de uma função residencial.
Entre 1921 e 1923, a fortaleza foi submetida a uma renovação completa, liderada por Umberto Zanvettori, que também se encarregou da decoração das salas, e em particular as do andar principal, que foram decoradas com um gosto dannunziano rico em sugestões. Uma lenda bastante recente diz que as paredes da residência teriam testemunhado a trágica história de Paolo e Francesca, os dois amantes cantados por Dante no Quinto Canto do Inferno, comemorados numa sala que reproduz o cenário e os elementos da tragédia de Francesca da Rimini. Em 1928, a Fortaleza foi comprada pelo Estado italiano.