Le Bâtiment
A sa création en 1668 la confrérie est accueillie dans la chapelle St Jacques de l’Hôtel Dieu d’Espalion. Dès 1704 elle inaugure sa chapelle de la rue du Plô. Il est à noter que la façade est bâtie avec les pierres de taille d’une des tours du pont gothique sur le Lot, démolie à cette époque.
Le mur nord donne sur les remparts du XV° siècle. Elle est enserrée entre deux maisons, seule sa façade annonce la présence d’un lieu de culte. Le plan est en forme de trapèze. La nef s’élargit sensiblement vers le chœur. La sacristie et la tribune qui la surmontait s’ouvraient sur le chœur. Au sol des dalles mortuaires portant des initiales, un symbole (cœur surmonté d’une croix), un outil (une demie-lune d’artisan du cuir) ou une date. Ce n’est qu’en 1776 que les enterrements dans les églises ont été interdits. Un clocheton dominait la toiture.
Vente à la Révolution : En vertu d'un décret de la Convention, elle est vendue et livrée en 1796 à des usages profanes
Rachat en 1836 : Cette chapelle est rachetée par les Pénitents en 1836, réparée, puis bénite en 1837.
1927-1945 : depuis la disparition de la confrérie, en 1927, jusqu’à la guerre de 39-45 le bâtiment sert de salle paroissiale. De nombreux espalionnais se souviennent d’y être venus au catéchisme.
En 1946 : Au moment de la construction du barrage de Castelnau, l’édifice est utilisé comme dépôt de ciment. L’entreprise refait alors la toiture, en supprimant le clocheton.
blocks_image
En 1958 : Le Musée. En 1955 lors de la restauration par les Monuments Historiques de l’église de Perse, tout le mobilier qui venait de l’ancienne église St Jean (actuel Musée Joseph Vaylet) est retiré. Le Curé de la paroisse, pour sauvegarder ces panneaux peints et sculptés, crée, dans la Chapelle de la rue du Plô, un musée d’art sacré. Il construit une entrée, surmontée d’un appartement pour le gardien. Cet épisode durera une dizaine d’années.
De 1970 à 1975 : L’association des Amis de la Vallée d’Olt y organise des expositions remarquables : Madones, bénitiers, reliquaires.
Depuis 2000 
Une association pour la Sauvegarde de la Chapelle des Pénitents s’est créée pour faire connaître ce bâtiment oublié. La municipalité, qui en est propriétaire depuis 2002, en a confié la gestion à l’Association des Amis de la Chapelle des Pénitents d’Espalion.