Il est toujours plus aisé de défendre de tous les côtés lorsque vous êtes installé sur une haute colline et, c'est à cet endroit, sur la colline d'Aubonne, que le château fut construit au XIIe siècle. D'une simple tour, il fut citadelle puis château fort, au gré des transactions et fur à mesure que se développa la puissance de ses propriétaires : les seigneurs d'Aubonne, la maison de Savoie, les seigneurs de Grandson et le comte de Gruyère.

L'arrivée de Jean-Baptiste Tavernier (1605-1689), diamantaire des rois de France et grand voyageur, puis celle d'Henri, marquis Duquesne (1652-1722), firent évoluer cette demeure. Tous deux protestants, exilés de France, font du château d'Aubonne une confortable et noble demeure.

Dès 1701, la cité d'Aubonne devint le siège d'un bailliage bernois jusqu'à la Révolution vaudoise de 1798.

La tour du château, cylindrique et entièrement blanche, tranche avec le paysage sombre du Jura. Elle interpelle l'Orient. La voyant pour la première fois, on peut se demander qui a bien pu construire cette sorte de minaret au cœur du vignoble vaudois. C'est Jean-Baptiste Tavernier, grand voyageur qui parcourut durant près d'un demi-siècle la Turquie, la Perse et les Indes, qui désira avoir, sous ses yeux, une construction lui rappelant l'Orient.

Devenue propriété de la commune d'Aubonne en 1835, il fallut huit de travaux de restauration, achevés en 1988, pour lui rendre son aspect d'aujourd'hui. Actuellement, le château abrite les écoles secondaires, une aula, un caveau des vignerons et, dans les communs, des salles d'enseignement du dessin et des sciences.