Le logis, bâtiment incomplet, une aile et une façade, est une construction du xvir siècle ; il porte à son fronton principal, au-dessous d'un écusson fastueux, celui des Pontavice, la date de 1654. Si ses toits étaient plus aigus, il serait bien dans le genre de cette époque, caractérisée par ses cordons en saillie, ses frontons brisés, ses perrons, etc.. Le colombier de ce logis est d'une forme rare; il est carré, et on explique ainsi cette forme insolite : le colombier était une construction essentiellement féodale et consacrait des droits vexatoires sur les terres voisines. Quelque temps avant la Révolution , alors que couvait l'orage qui allait éclater, une sourde opposition se forma parmi les gens de Rouffigny contre l'érection d'un colombier que projetait le sire de Pontavice. Celui-'.ci fit bâtir son colombier sous la forme d'une maison ordinaire : on n'y vit plus autre chose; mais il le garnit de boulins à l'intérieur. Celui qui nous conta cette histoire ajoutait que maintenant encore les gens de Ilouffigny ne sont pas faciles à gouverner.
A ce manoir se rattachent quelques détails historiques. Au xiv e siècle , Maurice de Rouffigny était un des seigneurs chargés de garder une des portes du château de Saint-James, quand l'armée de Normandie combattait ailleurs. Dans le xvic siècle, Rouffigny était à un membre de la plus ancienne famille du pays, celle des Vivien , qui avait fourni un corps de preuves depuis 1108: en 1665, Jean Vivien était seigneur de Rouffigny et de Beaumesnil2 : une de ses héritières porta la seigneurie de Rouffigny dans la maison des Pontavice. A cette famille des Vivien se rattachent des traditions qui rappellent les origines de la famille d'Argouges et que nous tirons d'une lettre, qu'une note appelle « fort drolle » : la branche aînée, seigneur châtelain de La Champagne en Plomb, s'est fondue dans celle d'Argouges à la Fée:.... « Ceux dela maison « d'Argouges soutiennent descendre d'une de ces femmes » prétendues enchantées que les vieux romans ont nommées » fées, laquelle ayant épousé un de leurs ayeux dont les » affaires étaient en très-mauvais état, lui donna une noni» breuse lignée et combla sa maison de toutes sortes de biens; » mais ayant par hasard entendu prononcer le nom de la mort » qui lui était fatale, elle s'en fut par une fenêtre de la salle » du château de la Champagne. L'on doit voir sur la pierre » d'appuy d'une fenêtre qui regarde la cour l'impression de » la main de cette dame qui s'y était appuyée pour passer par » cette fenestre en s'y appuyant. » On a lieu de s'étonner qu'après cette féérie, l'auteur de la lettre se pose, sans la résoudre, la question de l'origine du nom des Vivien , et qu'après avoir parlé de la fée d'Argouges et de Mélusine, il n'ait pas songé à la fée Viviane. En 1751, Alexandre-Jacques de Pontavice était seigneur de Rouffigny.
Le nom de Rouffigny, Rufmeium, signifie habitation de Rufm ; il s'applique à un quartier d'Avranches, à un village de Sacey et à un village de Saint-Laurent-de-Terregatte. Rufinus est le diminutif de Ru fus, Le Roux, que nous trouvons dans Reffuveille, Rufi Villa.
Dans ce canton, mais spécialement à Rouffigny, on trouve la jolie campanule dite Rotundifolia.