Encomendado por Sisto V e construído segundo um projeto de Domenico Fontana entre 1586 e 1589, o Palácio do Latrão substituiu o Patriarcado, residência papal até à transferência dos papas para Avignon , decidida por Clemente V e ocorrida em 1309. Na nova construção, concebida como residência de verão do papa, foi parcialmente recuperada a planta do antigo complexo. O edifício, de planta quadrada, tem três fachadas equivalentes, três pisos de janelas com frontões curvos e triangulares e um portal central com varanda. É coroado por uma torre com colunas.
Transformado primeiro num hospital e depois num arquivo, foi restaurado sob o pontificado de Gregório XVI por Luigi Poletti e convertido num museu. Em 1844, com o Museu Gregoriano Profano, ao qual se juntaram o Museu Pio Cristiano dez anos depois e o Museu Missionário Etnológico em 1926. Em 1929, foram assinados os famosos "Pactos de Latrão", após os quais o edifício, uma propriedade papal, começou a gozar do privilégio da extraterritorialidade. Os museus foram transferidos para o Vaticano e, em 1967, o palácio tornou-se a sede do Vicariato de Roma. Desde 1987, alberga o Museu Histórico do Vaticano, dedicado à iconografia papal do século XVI até à atualidade, ao cerimonial da corte pontifícia e aos seus corpos armados. A exposição está instalada em três galerias e nas salas do apartamento papal, decoradas com frescos de pintores maneiristas tardios.