La ville de Châtillon est mentionnée dès 931 dans une charte. Elle s'est formée au pied du château mais à l'abri de la rivière, et doit son nom à la tour circulaire, dite tour de César, élevée par Foulques-Nerra.
La ville s'est enfermée dans une enceinte dans la seconde moitié du XIIe siècle et la collégiale Saint-Outrille, construite hors les murs au XIe siècle, se retrouve un siècle plus tard intégrée dans l'enceinte.
Le rempart est alors flanqué de douze tours carrées. Lors de la transformation du vieux château fort en donjon résidentiel, on rasera une partie de l'enceinte de la ville.