O castelo de Trani é um quadrilátero de pureza geométrica, banhado pelas ondas do Adriático de um lado e completado por quatro torres, uma para cada canto. Tão espetacular que se suspeita que Frederico II da Suábia, o soberano que iniciou a sua construção em 1233, se deixou guiar apenas pelo seu refinado sentido estético. Na verdade, esta obra-prima arquitetónica também foi concebida com um forte sentido prático. O objetivo era sobretudo proteger a baía de Trani, um importante centro de comércio, e, por conseguinte, tinha de ser construído perto do porto. Além disso, era necessário que as fundações pudessem repousar sobre um sólido banco de rocha, e este foi encontrado não muito longe da catedral, acabando por compor uma espetacular combinação de arquitetura. Por fim, o castelo teve de ser projetado de forma a ser funcional tanto para uso defensivo como para acolher a corte. Quando Frederico II iniciou as obras, tomou como modelo as fortalezas mais modernas da época, ou seja, os castelos quadrangulares construídos pelos cavaleiros cristãos na Terra Santa, vistos pessoalmente durante a sexta Cruzada. Já em 1259, o castelo de Trani era tão bonito que foi escolhido para a celebração do casamento de Manfredi, filho de Frederico II e rei da Sicília, com Helena Ducas Comneno.
Alguns anos depois, a pobre Helena seria traída pelo próprio castelão de Trani que, no momento do perigo, em vez de lhe dar refúgio, a entregou ao inimigo Carlos de Anjou. Este, tendo derrotado Manfredi, apaixonou-se pelo castelo e também celebrou o seu casamento com Margarida de Borgonha. A aparência atual do castelo é em parte afetada pelas mudanças feitas no século XVI por Carlos V de Habsburgo para adaptá-lo às armas de fogo: as torres, originalmente esguias e altas, foram rebaixadas e as muralhas foram reforçadas, acrescentando, entre outras coisas, o bastião sudoeste em forma de ponta de lança. Hoje, o castelo pode ser visitado e usado como local de exposição: desde 2021, as passagens externas também foram disponibilizadas ao público e, desde 2022, a coleção da rainha Margarida de Saboia, representativa das tendências artísticas italianas entre os séculos XIX e XX, doada ao Estado por Vítor Emanuel III em 1928, é preservada nas casamatas.