C'est en janvier 1373 que le château fut racheté par l'évêque Guichard Tavelli et il servit, dès lors, de résidence pour les Evêques de Sion, ces derniers le préférant au château de Tourbillon, plus austère et dont l'accès était plus difficile.

Un incendie détruisit le château en 1529, puis en 1788.

Il abrite, maintenant, le Musée Cantonal des Beaux-Arts.