Os imponentes restos da fortaleza de Albornoz marcam o extremo sudoeste da crista em que se encontra o bairro de Castello. Monumento simbólico de Sassoferrato, a fortaleza é uma construção militar maciça erguida no século XIV pelo cardeal e legado papal Egidio de Albornoz, enviado à Península para restaurar a autoridade do pontífice sobre as poderosas famílias aristocráticas que dominavam os territórios da Igreja, a fortaleza foi construída graças às riquezas confiscadas à família dos condes Atti. Hoje, a partir do plácido parque urbano abaixo, é possível admirar a estrutura, que se eleva sobre a antiga aldeia, recentemente, começaram as obras de renovação que permitirão o acesso ao topo para desfrutar das vistas panorâmicas sobre as colinas das Marcas e os Apeninos centrais.