Situé au-dessous de la rampe d'accès au tunnel du Lötschberg, l'ensemble des bâtiments formant le château de Rarogne (Schloss von Raron) domine, au sud, une crête tombant à pic dans la vallée du Rhône et est protégé, au nord, par un profond fossé naturel. L'objectif initial de cet ensemble de constructions fut quelque peu effacé par la transformation, au début du XVIe siècle, d'un de ses bâtiments en une église paroissiale.

Ce n'est que vers la fin du XIIe siècle, lorsque fut construite une tour carrée au centre de l'enceinte, que l'ancien ouvrage fut transformé en un château habitable toute l'année. La forteresse fut agrandie au début du XIVe siècle par la construction d'un ouvrage presque carré, au sud-ouest, qui servit de siège au major épiscopal.

L'église, construite aux alentours de 1515 à l'endroit où se situait le corps de logis de la forteresse, est devenue célèbre pour abriter, dans son cimetière, la tombe du poète/écrivain autrichien Rainer Maria Rilke, qui repose au pied de son mur méridional.