No final do século XIV, o senhor de Pavia, Galeazzo Visconti, mandou construir o Castelo Visconti, um edifício de grande requinte, entre 1360 e 1365. No interior, as salas ainda estão decoradas com frescos luxuosos que remontam aos períodos Visconti e Sforza. Embora não tenha a ala norte, que originalmente servia de ligação ao Parque e à Cartuxa, o Castelo mantém a sua harmonia marcante, uma das maiores e mais importantes obras-primas da arquitetura gótica tardia lombarda. Desde o pós-guerra, alberga também os Museus Cívicos de Pavia, que incluem uma secção arqueológica e medieval, com raridades dos períodos romano, gótico e lombardo, uma secção românica e renascentista, a Pinacoteca Malaspina com obras que vão do século XIV ao XVI, uma coleção de quadros do século XIX, uma Coleção Morone, um Museu do Risorgimento, uma Gipsoteca e um Museu etnográfico Robecchi Bricchetti, bem como um espaço destinado a exposições temporárias. Graças à recuperação das Cavalariças do Castelo, os Museus Cívicos adquiriram um espaço de exposição adicional