La ville de Gaète doit son nom à Caieta, la nourrice d'Énée, qui, selon la tradition, est enterrée ici. Selon une autre interprétation, il dérive du terme grec qui indique la « cavité » du célèbre golfe. Quelle que soit la vérité, ce qui est certain, c'est que la ville a une histoire très ancienne, un passé que l'on respire encore dans certaines zones comme le quartier médiéval de Sant'Erasmo, attesté déjà à l'époque de la Gaète ducale et des républiques maritimes.
On respire une nostalgie décadente dans les rues du quartier, visiblement marqué par les bombardements de la Seconde Guerre mondiale. Cependant, des maisons datant du XIIe siècle sont encore visibles, le long de ruelles étroites faites d'escaliers, de passages souterrains et d'arches.
Le quartier médiéval a deux cœurs. Le premier est l'église San Giovanni a Mare, un édifice roman du Xe siècle avec une influence byzantine évidente. Le second est la cathédrale, consacrée au XIIe siècle. À l'intérieur se trouve un magnifique chandelier de Pâques en marbre, tandis qu'à l'extérieur se dresse l'imposant clocher arabo-sicilien, avec des arcs entrelacés, des incrustations, des majoliques.
Le château aragonais-angevin, qui remonte au VIIIe siècle, puis agrandi au XIIIe siècle, puis au XVIe siècle, domine tout. Enfin, visitez l'église de l'Annunziata avec la grotte d'or, le sanctuaire de la Montagne fendue avec le mausolée de Lucio Munazio Planco et la caractéristique via dell'Indipendenza.