C'est sur une colline dominant le village de Collombey que se situe le couvent. Il occupe l'emplacement de l'ancien château des Seigneurs d'Arbignon depuis 1643. Les Arbignons jouèrent un rôle marquant du XIIIe au XVIe siècle dans le Chablais avant de se diviser en plusieurs branches. Vers le milieu du XIIIe siècle, Ambroisie d'Arbignon épousa Jean de Collombey, seigneur du lieu qui construisit, à cette époque, une tour avec une maison d'habitation.

Au milieu du XVIe siècle, le château fut abandonné et en 1643, les religieuses de l'Ordre des Bernardines le rachetèrent et y construisirent le couvent et la chapelle actuels, dont elles en sont toujours propriétaires.