Au Xe siècle, Moudon appartenait au domaine royal de Haute-Bourgogne et une forteresse semblait déjà exister à cette époque. Elle devait se situer dans la partie supérieure du village, le quartier du Bourg. Cependant, tous les ouvrages fortifiés que l'on peut encore apercevoir de nos jours sont toutefois, plus récents.

Le plus vieux d'entre ceux est une tour massive qui se dresse sur la crête séparant le haut bourg de la basse ville. Ce monument est aujourd'hui une ruine imposante souvent attribuée aux premiers temps féodaux en raison de son caractère défensif. Néanmoins, ni ses murs, ni sa base considérable ne laissent supposer qu'elle ait été construite avant la seconde moitié du XIIe siècle. D'après son style, la tour de Broye appartiendrait plutôt aux imposants donjons qui ont été réalisés vers la fin du XIIe siècle, à l'époque des Ducs de Zaehringen. Encadrée de maison datant d'une époque plus récente, elle est le dernier maillon encore visible d'un ouvrage fortifié d'une certaine importance dont aucun vestige extérieur n'a subsisté. Il se pourrait que quelques fragments aient été englobés dans les murailles des demeures avoisinantes.

Le vieux-bourg de Moudon est principalement constitué de vieilles bâtisses habitées et parfaitement entretenus qui partent depuis la basse ville en direction du château de Carrouge, de la maison de Denezy et du château de Rochefort.

La ruelle du Bourg est assez pentue. L'effort consenti sera récompensé par la terrasse du château de Carrouge qui offre un splendide panorama sur la ville de Moudon ainsi que sur la vallée de la Broye.