Małżeństwo z Herlevą Wzmianki w zachowanych źródłach wskazują, że na początku XI wieku Conteville, wraz z okolicznymi przynależnościami, najprawdopodobniej było wasalną domeną Herluina. Herluin prawdopodobnie pojął za żonę Herlevę; ta była metresą Roberta I, księcia Normandii, z którym miała nieślubnego syna Wilhelma, pogardliwie zwanego Bękartem, późniejszego Wilhelma Zdobywcę. Herluin i Herleva mieli też dwóch własnych synów i jedną córkę; Eudesa, który miał zostać w przyszłości biskupem Bayeux, Roberta, który został hrabią Mortain i Muriel, która wyszła za Guillaume'a, pana na Ferté-MacéFreeman, ss.276-277.
Drugie małżeństwo Po śmierci Herlevy Herluin poślubił Fredesendis, która jest wymieniana wśród dobrodziejówDouglas, s.382 opactwa Grestain (jako żona Herluina) w statucie założycielskim klasztoru z roku 1189. Budowę rozpoczął Herluin około roku 1050, wierząc, że pomoże mu to wyleczyć się z trądu lub innej podobnej choroby.
Herluin i Fredesendis mieli dwóch synów: Raoula de Conteville (zm. po 1089), który później miał posiadłości w hrabstwach Somerset i Devon w Anglii oraz Jeana de Conteville.