Robertowi udało się zyskać kontrolę nad Flandrią, a Baldwin i jego matka zostali przezeń wygnani. Działająca w imieniu syna Rychilda z Hainaut na mocy porozumienia z Liège przekazała dwa hrabstwa, Hainaut i Mons (Valenciennes), cesarzowi Henrykowi IV jako lenna, ten przyznał je biskupowi Liège Teodwinowi, ten oddał je księciu Dolnej Lotaryngii Gotfrydowi II, który zwrócił je Baldwinowi II. Ten skomplikowany akt miał dać opiekę cesarza nad młodym hrabią, którego dziedzictwu zagrażał Robert I Fryzyjski. Jego matka pozostawała regentką do roku 1076. Nie zaprzestał walk o Flandrię; po tym, gdy stryj sprzymierzył się z królem Francji, Baldwin znalazł sojusznika w osobie krewnego, króla Anglii Wilhelma I Zdobywcy. W 1085 przegrał z Robertem bitwę pod Broqueroie, po której podpisał traktat pokojowy i zrezygnował ze swoich roszczeń. Baldwin II był człowiekiem pobożnym, czynił liczne nadania na rzecz Kościoła, m.in. w 1081 założył klasztor benedyktyński Saint Denis en Broqueroie.