Construit en 1286 par Louis de Savoie afin de s'opposer à l'Evêché de Lausanne, le château servit de résidence sporadique aux Comtes et Ducs de Savoie. Après la conquête du Pays de Vaud en 1536, les Bernois y installèrent leurs baillis.

Au fil des siècles, le château changea d'allure, passant de simple édifice militaire en confortable demeure seigneuriale.

Propriété du Canton de Vaud après la Révolution, le château fut tout d'abord utilisé comme arsenal, puis, à partir de 1932, il abrite le Musée Militaire Vaudois.

C'est un parfait exemple du carré savoyard. Il compte deux particularités: sa cour intérieure surélevée accessible, à l'époque, par un pont-levis et le couronnement arrondis de ses tours, modifications intervenues au XVIe siècle, lors de l'introduction de l'artillerie.