Johann Thomas von Spaur, prince évêque de Bressanone/Brixen, avait choisi vers la fin du XVIe siècle un endroit magnifique sur la vallée de l'Isarco/Eisacktal pour se faire construire une résidence d'été, avec également une enceinte pour les cerfs, un bassin pour les poissons et une volière. La clôture, le bassin et la volière n'existent plus, mais tout le reste est resté pratiquement intact.
À la mort de von Spaur, le bâtiment est passé aux princes-évêques, ses successeurs, pour leurs résidences d'été, une habitude interrompue seulement au début du XIXe siècle avec les sécularisations voulues par Napoléon. Bien que le temps ait passé, Castel Velturno est arrivé à nos jours avec le droit d'être considéré à la fois comme un excellent exemple de résidence sud-tyrolienne de la fin de la Renaissance et comme une maison-musée, c'est-à-dire une maison qui conserve des traces substantielles de ceux qui l'ont voulue et habitée.
Des graffitis et un cadran solaire décorent les façades, mais les intérieurs sont particulièrement riches. Plus encore qu'au premier étage où les invités s'arrêtaient, c'est au deuxième étage que les chambres sont exceptionnellement grandes, avec des décorations, des incrustations élégantes dans les revêtements en bois typiques des stube, des plafonds à caissons tous différents et de nombreuses peintures murales. Dans l'extraordinaire salle du Prince, les armoiries des von Spaur, du diocèse et de la principauté épiscopale se détachent au plafond, tandis que les incrustations sur les murs représentent des scènes de chasse et des motifs architecturaux, et que les portes ressemblent à des façades d'églises. La majolique bleue du poêle colossal reproduit des scènes de l'Ancien et du Nouveau Testament. La frise est un aperçu des merveilles du monde : il y en a huit au lieu des sept habituelles, car dans la région, il était d'usage d'inclure également l'abbaye voisine de Novacella/Neustift.