O castelo de Taranto não poderia ter pais mais ilustres. Por trás da poderosa fortaleza que guarda a entrada do canal, na margem extrema da cidade velha, está o génio de Francesco di Giorgio Martini e Ciro Ciri di Casteldurante, grandes arquitetos militares do final do século XV. Há também as riquezas do rei de Nápoles, Fernando de Aragão, que lhes atribuiu a tarefa de modernizar uma fortaleza normando-sueva fundada talvez já na época bizantina. O resultado foi o que também é chamado de castelo de Santo Ângelo: uma estrutura à prova de bombas (ou melhor, de balas de canhão), com cortinas de muralhas com cerca de 8 metros de espessura e 20 metros de altura e, nos cantos, enormes torres cilíndricas, mais ou menos da mesma altura das muralhas. No interior, foi preservada a capela de São Leonardo, onde se diz que o casamento de Ladislau de Durazzo, rei de Nápoles, com Maria de Enghien, condessa de Lecce e viúva do príncipe de Taranto, foi celebrado em 1407.
A reconstrução do castelo foi concluída em 1491, uma década após a construção do canal navegável, que criou uma espécie de enorme fosso em frente às suas muralhas: nasceu o que hoje chamaríamos um sistema defensivo integrado muito eficaz. O objetivo era defender toda a Taranto das invasões turcas, que na época correspondia mais ou menos à atual cidade velha, transformada numa ilha pela abertura do canal.
O castelo, reforçado sob o domínio espanhol, revelou-se importante em inúmeras batalhas e, em 1594, permitiu que Taranto repelisse um pesado ataque turco. Depois, perdeu a sua utilidade defensiva e acabou por ser transformado em prisão e quartel. Desde 1887, o castelo é a sede do Comando da Marinha, que promoveu o seu restauro e a abertura a visitas guiadas.