O complexo monumental da Igreja Colegiada de S. Orso é a obra-prima arquitetónica da Aosta medieval. Com vista para um pequeno largo, reorganizado por Giorgio di Challant entre 1490 e 1510, o complexo é composto por três edifícios: a igreja colegiada, o claustro e o priorado, construídos em diferentes épocas, mas em harmonia uns com os outros. Isolado, mas dominante, é o campanário românico (de 1131), com 44 metros de altura, com janelas de três e quatro luzes, originalmente uma estrutura defensiva incluída numa muralha: foi parcialmente construído com as grandes pedras quadradas recuperadas das muralhas romanas. As escavações arqueológicas realizadas entre 1976 e 1999 revelaram a presença na área da igreja de uma vasta necrópole extraurbana onde, no início do século V, nasceu um complexo cristão primitivo que incluía a igreja de São Lourenço, com uma única sala e uma abside semicircular. Reconstruída e ampliada no século IX, foi-lhe acrescentada uma torre sineira, cujos restos ainda são visíveis na atual fachada da igreja. A planta atual da igreja colegiada, dedicada a São Pedro e mais tarde também a Santo Orso, deve-se ao Bispo Anselmo, em Aosta, entre 994 e 1026: tem três naves com uma cripta, absides semicirculares e um telhado de treliça. No final do século XV, com o priorado de Giorgio di Challant, a fachada e o portal encimado pelo altíssimo frontão pontiagudo foram unificados.
O interior é gótico do século XV, com belas abóbadas cruzadas e restos da decoração original no sótão: um ciclo fragmentário de frescos do início do século XI. Nas laterais do presbitério, pode admirar-se um coro de madeira esculpida do século XV, enquanto os cinco vitrais da abside central são do início do século XVI e foram feitos por uma oficina local. Na área do coro, é visível um mosaico no pavimento, provavelmente do século XII, com a representação de Sansão a matar o leão. A cripta românica, sob o coro, é composta por cinco pequenas naves.
À direita da igreja colegiada, acede-se ao claustro cenográfico, com preciosos capitéis que representam uma verdadeira obra-prima da escultura românica: estão representadas histórias do Antigo e do Novo Testamento, histórias de santos, episódios inspirados na lendária vida de Santo Orso, temas profanos e também imagens de homens e animais. Do claustro primitivo, construído a partir de 1133, restam 40 dos 52 capitéis de mármore de Aymavilles, posteriormente revestidos de tinta preta, talvez para simbolizar a necessidade de cultivar a penitência. O claustro foi desmontado e remontado mais de uma vez, com a consequente alteração da disposição dos capitéis e das figuras.
À direita do claustro, o priorado tem três edifícios sobre cinco arcadas, abertos por elegantes janelas cruzadas, com valiosas decorações em terracota e encimados por uma torre octogonal. Foi construído a partir de 1468 a mando de Giorgio di Challant como sua residência, inspirado em modelos da arquitetura francesa, as decorações de terracota são, no entanto, de gosto piemontês e lombardo. A capela é enriquecida por frescos do século XV relacionados com episódios da vida de São Jorge.