Le village se situe au sud-est de la ville de Bulle, en direction de la vallée de l'Intyamon. En fait, ce qui distingue la Tour-de-Trême de Bulle, c'est la rivière La Trême. Autrement, le village est un petit bourg bourgeois où quelques agriculteurs sont encore en activité.

A l'est du village, dans la forêt de Bouleyre, se situe la Route des Fromages. Il s'agit d'un segment de la seule voie qui reliait Charmey à Bulle du XVIe au XVIIIe siècle.

Autrefois, le bourg était ceinturé de remparts, muni de portes et d'une maison forte. Des Incendies à répétitions et des ravages causés par La Trême ont de fond en comble modifié son aspect. Les seuls vestiges existants sont la tour perchée sur un bloc de rocher et quelques maisons du XVIe siècle.

Cette tour carrée mesure 13m de haut et dominait autrefois la maison forte et la porte du bourg. En 1683, on plaça sur celle-ci une horloge qui fonctionnait au moyen d'un poids fixé à l'extrémité d'une corde fixée autour d'un cylindre. Chaque jour, le poids devait être remonté par un employé qui se faisait un honneur de régler le temps.

On peut accéder à l'horloge par un escalier en bois, à l'intérieur de la tour.