Même si la ville compte encore des traces de l'occupation gallo-romaine, l'histoire de Conches commence vers 1034, lorsque les seigneurs de Tosny, descendants de Rollon, duc de Normandie, héritent de ce fief alors appelé Castellio, qui deviendra plus tard Châtillon. Au retour de leur pèlerinage à Saint-Jacques-de-Compostelle, ils s'arrêtent à Conques-en-Rouergue, où l'on célèbre le culte de sainte Foy, et ramènent des reliques de la sainte. Châtillon devient alors Conches. Les seigneurs édifient une forteresse de défense et un donjon et entourent la ville de murailles. Aux alentours, la forêt de Conches offre de superbes itinéraires de randonnées.