Fu sede per quasi quattrocento anni dei rettori veneti che governavano Belluno e il suo territorio. Su un preesistente e più arretrato edificio fortificato realizzato a partire dal 1409 (e completamente bruciato nel 1802) venne aggiunta nel 1491 dal rettore veneto Maffeo Tiepolo sul lato ovest una prima loggia lombardesca a due piani, poggiante su tre archi.
Nel 1496 fu adottato un progetto di ampliamento disegnato dal veneziano Giovanni Candi (l’autore del "bovolo" di palazzo Contarini a Venezia), più volte interrotto fino alla crisi seguita alla guerra di Cambray. Venne infine completato nel 1536 durante il rettorato di Girolamo Rimondi. Tra il 1536 e il 1547 venne innalzata la torretta dell’orologio, progettato dal fiesolano Valerio da San Vittore. Sulla facciata, stemmi e busti di rettori veneti dei secoli XV-XVII. All’interno numerosi locali, nonostante i radicali restauri resisi più volte necessari in seguito ai terremoti degli ultimi due secoli, hanno mantenuto la fisionomia originaria, in particolare il salone centrale del secondo piano e la vicina saletta, con il soffitto alla sansovina. E’ sede della Prefettura.
