Les imposants vestiges de la forteresse Albornoz marquent l'extrémité sud-ouest de la crête sur laquelle se trouve le quartier du Château. Monument symbole de Sassoferrato, la forteresse est une construction militaire massive érigée au XIVe siècle par le cardinal et légat pontifical Egidio de Albornoz, envoyé dans la péninsule pour restaurer l'autorité du pontife sur les puissantes familles aristocratiques qui dominaient les territoires de l'Église , le fort fut construit grâce aux richesses confisquées à la famille des comtes Atti. Aujourd'hui, depuis le paisible parc urbain situé en contrebas, vous pourrez admirer la structure qui surplombe le vieux village. Des travaux de rénovation ont récemment commencé et permettront d'accéder à nouveau au sommet pour profiter des vues panoramiques sur les collines des Marches et les Apennins centraux.