Siège du CIO (Comité International Olympique), le château est en réalité une très belle demeure bourgeoise, cossue, construite sur l'emplacement de ce qui devait être la première église chrétienne de Vidy. L'origine de la construction remonte à 1453. Ce n'est qu'entre 1670-1675 que celle-ci fut transformée et agrandie en maison de maître.