Le Château de La Tour-de-Peilz a d'abord servit de réduit défensif, de poste de surveillance du trafic lacustre sur le lac Léman et de douane. Ravagé durant les guerres de Bourgogne en 1476, il fut acquis et reconstruit en 1747 par Jean Grésier, officier français.

En 1973, les deux tours d'angle, l'enceinte, les remparts et les fossés furent classés monuments historiques.

Le château fut acheté en 1979 par la commune de La Tour-de-Peilz et accueille, depuis 1987, le Musée Suisse du Jeu qui occupe l'étage et les combles du Château. Les salles du rez-de-chaussée étant réservées à diverses manifestations.