Cette chapelle à demi enterrée, ne possédant qu’un seul bas côté, n’est à l’origine qu’une simple tour de guet avec un campanile, utilisé par tous les seigneurs des environs pour défendre la baie du port de Saint-Gildas. Dès le 14ème siècle, un oratoire dédié à Sainte Marie est construit.