É olhando para o castelo de Barletta que se pode refazer num só instante a história da cidade, desde a Idade Média até à era moderna. Frederico II da Suábia mandou construí-lo sobre fortificações normandas, adaptando-as a uma planta quadrangular, eficiente e racional, e criou no seu interior espaços residenciais dignos de uma corte imperial, para poder lá permanecer por muito tempo. Depois, o castelo foi reforçado no final do século XIII por Pierre d'Angicourt, um grande arquiteto sob as ordens da família de Anjou, na segunda metade do século XV pelos novos senhores aragoneses e em meados do século XVI pelos engenheiros espanhóis ao serviço de Carlos V de Habsburgo, que acrescentaram os bastiões angulares e cavaram os fossos. O resultado foi o que ainda hoje admiramos em grande parte: uma sólida estrutura quadrangular, com cantos defendidos por bastiões pentagonais e um fosso que corria em três lados, enquanto o lado norte na época dava diretamente para a costa. Hoje, o castelo alberga o Museu Cívico de Barletta.