De l'ancien château de Saint-Jean-Lachalm, dit de Mirmande, qui occupait jadis un monticule, ne reste plus qu'un pan de muraille et qu'un fossé défensif probablement antérieur à celle-ci. D'après le cartulaire des Templiers du Puy-en-Velay, entre la fin du XIe s. et le milieu du XIVe s., l'édifice comptait une chapelle dédiée à saint Pierre alors rattachée à la paroisse locale et au prieuré Sainte-Croix de La Volte fondé en 1025 par Odilon de Mercoeur. Un chemin partant en direction des gorges de l'Allier mène aux vestiges de ce château qui selon toute vraisemblance aurait été détruit au XVe s. bien qu'il fut encore mentionné pendant la Révolution.