Edifiée sur une hauteur, face à l’entrée de la passe de Port-Blanc, la chapelle se trouve à l’emplacement d’un ancien poste de garde fortifié du XIII^e siècle avec une tour de guet incluant un oratoire placé sous le patronage de la Vierge Marie.

Ce qui subsiste de cette tour est aujourd’hui la sacristie de la chapelle. Il s’agit de la partie la plus ancienne de l’édifice.

Au cours du XIV^e siècle, un bâtiment de forme rectangulaire (la nef actuelle de la chapelle) fut accolé au poste de garde.

Ce modeste édifice religieux d’un village de bord de mer est modifié à plusieurs reprises au cours des siècles. Après la guerre de cent ans, la chapelle reçoit son pignon ouest, ses deux portails et sa tribune intérieure. Un chœur plus vaste est créé durant le premier quart du XVI^e, agrémenté d’une entrée au sud. L’enclos qui entoure la chapelle est modifié au XVII^e avec la création de deux entrées nouvelles.