Malgré les sièges nombreux qu'il a soutenu et les destructions continuelles opérées par le temps et la main des hommes, on peut apprécier encore son antique importance en contemplant les ruines de ses remparts. La rivière trace son lit en demi-cercle autour de son enceinte, et lui sert ainsi de première défense, puis une muraille continue, dont on peut suivre partout les traces, l'environnait de toutes parts en se reliant au château.<br><br>Quatre portes étaient pratiquées dans cette enceinte et sont encore les seules issues pour sortir de la ville. La plus remarquable est la porte Saint-Jacques qui s'ouvre au nord. Cette construction encore intacte est un beau spécimen de l'architecture militaire du moyen âge. Elle est flanquée de deux tours elliptiques d'une légèreté très rare dans ce genre de monuments; une large plate-forme, bordée de créneaux soutenus par d'élégantes consoles, couronne son sommet; la rivière baigne ses pieds. Un pont de pierres, qui a remplacé depuis longtemps le pont-levis, vient aboutir à la porte et sert de communication entre la ville et le faubourg Saint-Jacques. La coulisse de la herse est très reconnaissable encore.<br><br>La porte du Bourg-Belay située à l'est est presque anéantie, et ne présente, comme seul reste de son ancienne existence, qu'une arcade voûtée en ogive.