Contrairement à d'autres cités, la ville de Bulle s'est d'abord développée autour de son église qui était, au IXe siècle, un centre ecclésiastique d'importance, et non pas autour de son château.

La construction du château a probablement débuté sous l'épiscopat de Boniface (1231-1239). Après l'annexion de Bulle par la ville de Fribourg, le château devint, dès 1537, résidence des baillis. Depuis 1848, il est le siège de la Préfecture de la Gruyère et abrite, actuellement, le tribunal, la gendarmerie et les prisons.

Formant un quadrilatère de 41 x 44 mètres, il comprend des corps de logis sur trois côtés et une haute courtine sur le quatrième. Sa construction se fit certainement d'un seul tenant, typique de l'architecture savoyarde, flanqué de tours rondes.

Le donjon, énorme et séparé par une petite cour, est haut de 33 mètres et large de 2.16m à sa base. Son entrée d'origine est située à 9.7m du sol. Moins imposantes, les tours des trois autres angles sont des échauguettes placées en surplomb en haut des murs.

Le château a échappé à l'incendie qui détruisit la ville en 1805.