Autrefois, le Prieuré se composait de deux bâtiments proches, pas aux fonctions différentes. Le bâtiment initial, encore situé place de l'église, fut reconstruit partiellement vers la fin du XVIIe siècle, de style Renaissance. Prenant une considérable importance, le Prieuré s'agrandit et on édifia des logements pour les prieurs, le château actuel. Ce fut une maison de campagne fortifiée, défendue par deux tourelles sur sa façade sud. Celle située à l'est conserva son soubassement et sa partie inférieure.

De 1290 à 1941, Guy de Pourtalès, écrivain, habita le château qui est propriété de la famille de Mestral.