Il Castello di Lagopesole si trova su un colle che sovrasta la Valle di Vitalba. Fu costruito da Federico II, Imperatore d’Italia, nel 1242 come sua residenza di caccia e di riposo estivo. Secondo lo "Statutum de reparatione castrorum", del XIII secolo, il Castello era già abitabile prima della morte dell’Imperatore.
Gli Angioini completarono la costruzione, rinnovando le coperture e dotandolo di: un acquedotto, delle scuderie e di un laghetto sul davanti, per allevare le anguille, pescate in precedenza nei laghi di Versentino e Salpi.
Il Castello si compone di due parti: una residenziale e una militare, probabilmente normanna. L’esterno è caratterizzato da mura massicce in bugnato, con un ingresso sulla facciata a ovest, protetto da due nicchie. All’interno, gli spazi sono strutturati secondo due cortili.
La residenza si sviluppa su due livelli e su tre lati intorno a quello maggiore, posto a nord. Nel salone a ovest del piano superiore (il cosiddetto "Salone dell’Imperatore") si possono ancora ammirare i preziosi capitelli e le mensole di sostegno della copertura originale. Al centro del cortile minore si trova un torrione di forma quadrata, il donjon, leggermente ruotato rispetto all’impianto generale, probabilmente perché è di origine normanna e specificamente militare.
La torre contiene due ambienti: quello superiore con i servizi igienici ricavati nello spessore dei muri e uno inferiore, con una cisterna. Dal 2011, oltre all’esposizione permanente che illustra gli scavi medievali, il Castello ospita il Museo Polimediale "Il Mondo di Federico II". Durante l’estate, nella corte interna del Museo si tiene uno spettacolo multimediale dedicato alla vita dell’Imperatore Federico II.