C'est sur les ruines d'une forteresse féodale fut construit, dès 1554, par Ferdinand de Loys, seigneur de Denens, bourgeois et bourgmestre de Lausanne. L'inauguration eut lieu en 1629.
Dominant fièrement le vignoble au sud, cette bâtisse de transition entre le gothique et le Renaissance représentait la noblesse de l'époque, très à l'aise grâce à la présence du puissant occupant bernois, qui ne rêvait que de confort et d'élégance architecturale.
Le château est la propriété de la Commune depuis le 29 mai 1978 et fut loué à des personnages très connu: Jean Villard Gilles et l'écrivain belge Georges Simenon qui y élurent domicile.