L'histoire de la ville la plus ancienne nous ramène au temps des Gallo-Romains, mais c'est aujourd'hui davantage son héritage médiéval qui frappe le visiteur. Elle fut l'une des premières " communes libres du Quercy " en 1256 et résista aux assaillants anglais tout au long de la guerre de Cent Ans, protégée par ses imposantes fortifications. Bastion protestant pendant les guerres de religion, Cajarc vit ses murailles rasées en 1623 sur ordre de Richelieu en personne. Par ailleurs, c'est le village natal de Françoise Sagan qui revenait régulièrement s'y ressourcer. La commune est aussi connue grâce au fameux sketch de Coluche, " Le Schmilblick ".