Une première chapelle aurait été construite selon la légende par un seigneur de la Roche-Sébien en témoignage de reconnaissance envers un ancien serviteur qu'il avait injustement détesté (Paul de Berthou, Clisson et ses monuments).
La chapelle actuelle a été reconstruite entre 1913 et 1919.