A cidade de Gaeta deve o nome a Caieta, ama de leite de Eneias, que, segundo a tradição, está sepultada aqui mesmo. Segundo outra interpretação, deriva do termo grego que indica a “cavidade” do famoso golfo. Seja qual for a verdade, o certo é que a cidade tem uma história muito antiga, um passado que ainda pode ser sentido nalgumas áreas, como o bairro medieval de Santo Erasmo, já atestado na época da Gaeta ducal e das repúblicas marítimas.
Há uma nostalgia decadente nas ruas do bairro, visivelmente marcado pelos bombardeamentos da Segunda Guerra Mundial. Ainda são visíveis, no entanto, casas que datam do século XII, ao longo de ruelas estreitas feitas de escadas, passagens subterrâneas, arcos.
O bairro medieval tem dois corações. O primeiro é a Igreja de São João do Mar, um edifício românico do século X com evidente influência bizantina. O segundo é a Catedral, consagrada no século XII. No interior há um esplêndido candelabro de Páscoa em mármore, enquanto no exterior desponta o imponente campanário sículo-árabe, com arcos entrelaçados, incrustações, majólicas
Sobre tudo isto reina o castelo aragonês-angevino, que remonta ao século VIII e depois foi ampliado no século XIII e depois no século XVI. Por fim, visite a Igreja da Anunciação com a Gruta de Ouro, o Santuário de Montagna Spaccata com o mausoléu de Lúcio Munazio Planco e a característica rua da Independência.