Le château de Rolle est l'un des plus mystérieux, du moins en ce qui concerne son origine et l'histoire de sa construction. Démuni de ses fortifications extérieures, le château se dessine comme un quadrilatère irrégulier, flanqué d'une tour à chaque angle.
La partie ouest totalement perdu sa forme moyenâgeuse, tant dans la forme que dans le genre de la construction. Les tours d'angle diffèrent fortement l'une de l'autre. Celle de l'angle nord-ouest est de plan circulaire, la tour tournée vers le lac Léman est rectangulaire tandis que les deux autres sont demi-ovales, fermées et surhaussées. Entre ces tours, l'enceinte est en ligne droite.
Il n'est pas possible d'expliquer pourquoi cette forteresse de Rolle présente un plan aussi irrégulier, surtout en ce qui concerne la partie coté lac, avec son mur d'enceinte à angle obtus et sa tour carrée. Concernant le reste du château, la tour ronde et les deux tours semi-circulaires laissent à croire au modèle carré savoyard, avec donjon rond et tous d'angle plus petites.
Mais comment expliquer la partie orientale du château, totalement différente du schéma habituel, cela reste un grand mystère!
Le château a certainement été construit par la maison de Savoie, sans doute à la fin du XIIIe siècle. En 1295, il était propriété du chevalier Jean de Greilly dont les descendants y résidèrent jusqu'au XVe siècle. Vers 1330, les comtes de Savoie fondèrent le bourg de Rolle, sur le terrain qui s'étend à l'ouest du château. Suivant les guerres, le château passant en mains de plusieurs familles jusqu'en 1536 où après la conquête du Pays de Vaud, les bernois se l'accaparèrent. En 1550, de lourdes dettes contraignirent ces derniers à le vendre au comte Michel de Gruyères qui n'en jouit toutefois pas longtemps. Sa ruine économique, provoquée par Berne et Fribourg, l'obligea à son tour de vendre ses biens et ce château fut acheté, en 1558, par un riche patricien bernois, Jean de Steiger, dont les descendants conservèrent les droits seigneuriaux jusqu'en 1798.
De nos jours, le château, restauré avec soins par la commune de Rolle, abrite des bureaux administratifs et des salles d'expositions.