Dès la fin du VIe siècle, Saint-Paulien -Russeio-, perdit son titre de capitale du Velay pour le léguer à Anicium -Le Puy-en-Velay- (voir introduction du Puy en Velay). Mais bien que capitale déchue, la ville n'en possède pas moins une majestueuse église romane du XIIe siècle, modifiée intérieurement au XVIIe siècle. On discerne dans quelques chapiteaux anciens des influences celtiques (divinités à trois têtes), tandis qu'à l'extérieur figurent des matériaux de réemploi d'origine gallo-romaine, dont un remarquable autel taurobolique. Parallèlement aux collections permanentes, l'association des Amis du Musée présente parfois des expositions thématiques.