À direita da Catedral, o palácio era a sumptuosa residência que Pio II mandou construir por Rossellino para as suas visitas à cidade. A fachada de cantaria em três andares deve-se evidentemente à arquitetura privada florentina e, em particular, ao Palácio Rucellai em Florença. No lado sul do palácio e acessível a partir do pátio interno, estende-se o belo jardim suspenso concebido como uma varanda panorâmica sobre o Vale de Orcia e o Monte Amiata, e uma interpenetração harmoniosa entre arte e natureza de acordo com os ideais humanísticos. Os interiores do palácio podem ser visitados: no rés-do-chão, uma exposição permanente ilustra o projeto arquitetónico de Pienza como uma cidade ideal desenvolvida pelo Papa Pio II em conjunto com o arquiteto Bernardo Rossellino, enquanto no piso principal é possível visitar algumas salas do apartamento papal, com mobiliário e acessórios de época.