En l'an 607, le comte Wilhelm de Bourgogne fit construire un premier château à la pointe nord de la colline et à peine terminé, le château fut détruit en 616. Au XIe siècle, alors que toute la région était sous domination de l'Evêque de Lausanne, celui-ci entoura de murailles le bourg et reconstruisit le château auprès d'une ancienne tour restée intacte. L'invasion bernoise du Pays de Vaud fut bénéfique à Avenches car dès 1565, les baillis bernois reconstruisirent le château, dans un style Renaissance tout en conservant certains éléments gothiques chers à la Suisse alémanique, tels que les toits aigus et les fenêtres à trois baies.

Dans la cour intérieure, sur la façade, on peut admirer trois bustes de Maure qui constituent les armoiries du bourg. Dans cette façade plutôt chargée, on distingue des colonnettes, des chapiteaux corinthiens et au-dessus, un fronton de temple grec soutenu par deux colonnes. On y trouve encore des mouillons, des torsades et des denticules ainsi qu'un carré vide, à peine crépi. Cette place était occupée par les armoiries bernoises, armoiries qui furent martelées lors de la Révolution vaudoise en 1798.

Une annexe du château fait office de galerie où exposent de nombreux artistes régionaux ou venus d'ailleurs.