Au Moyen Âge, ses fortifications et sa position sur un axe de passage contribuent au développement de la ville. En 1759, le tracé du grand chemin de Lyon provoque l'abattement d'une partie des murailles, déjà partiellement en ruine. Construit au XIIe siècle sur les bords de la Besbre entouré d'un magnifique jardin, le château a connu de multiples modifications jusqu'au XVIe siècle. Il est intimement lié à l'histoire de Jacques II de Chabannes La Palice, maréchal de France, et est habité par cette même famille depuis 1430. Tous les deux ans, le " Grand Embouteillage années 50-60 de Lapalisse " réunit des passionnés de voitures anciennes sur la N7.