Le manoir de Carteret, près du port de plaisance, est une robuste construction du début du XVIIIème siècle qui a conservé quelques éléments de la fin du XVIème siècle ou du tout début du XVIIème siècle. Cet ancien manoir seigneurial est célèbre pour avoir servi de lieu de villégiature à Jules Bar-bey d'Aurévilly, qui y situa une partie de l'action de son roman "Une Vieille Maîtresse"

Correspondance (Lettres à Elisabeth Bouillet)

Si l'on confronte les descriptions du manoir avec la réalité, on mesure la manière dont Barbey concentre des détails vrais pour les grandir et leur donner une note romanesque, voire romantique ...