Le château était le fiel de la seigneurie de Vennes jusqu'en 1775. Il passa de main en main jusqu'à son acquisition par la ville de Lausanne.