W oczach prawa był już jednak recydywistą, ściganym z urzędu i automatycznie podlegającym karze śmierci lub dożywotnich ciężkich robót.
W tym samym roku Valjean pod fałszywym nazwiskiem Madeleine dotarł do Montreuil-sur-Mer, gdzie uratował dwoje dzieci z pożaru i w związku z tym zyskał szacunek tak wielki, że nikt nie sprawdzał jego pochodzenia czy nawet prawdziwości dokumentów. Założył fabrykę, a wzbogaciwszy się na własnej pracy i przedsiębiorczości, zaczął aktywnie wspierać dobroczynność, finansować szkoły i pomagać wszystkim potrzebującym. Odmawiał przyjmowania odznaczeń państwowych i żył niezwykle skromnie. Został wybrany merem miasta w 1821.
W całym mieście tylko jeden człowiek miał pewne zastrzeżenie co do mera: inspektor policji Javert, ongiś zatrudniony w więzieniach tulońskich, dostrzegł podobieństwo między „panem Madeleine” a galernikiem Valjeanem. Co do słuszności tych podejrzeń przekonał go wypadek woźnicy Faucheleventa, kiedy Madeleine zdołał, ratując tego ostatniego, podnieść na własnych barkach wóz konny. Javert pamiętał tylko jednego tak silnego człowieka – właśnie więźnia nr 24601.