Baldwin pozostawił w Hainaut dwuletnią córkę i ciężarną żonę. Przez pierwsze dwa lata hrabina Maria sprawowała rządy we Flandrii i w Hainaut w imieniu męża. W początkach 1204 wyruszyła samotnie na wschód, aby połączyć się z Baldwinem. Młodszy brat Baldwina, Filip z Namur, został wówczas regentem Flandrii i opiekunem córek brata. Regentem Hainaut został wuj Baldwina, William z Thy, nieślubny syn Baldwina IV z Hainaut.
W międzyczasie, w wyniku intryg weneckiego doży Enrico Dandolo, IV wyprawa krzyżowa została skierowana do Konstantynopola. Jej celem było przywrócenie tronu księciu Aleksemu IV. Po bezskutecznej demonstracji siły na wodach otaczających Konstantynopol, krzyżowcy podjęli decyzję o ataku. Baldwin miał prowadzić straż przednią. Atak rozpoczął się 5 lipca i oddziałom Baldwina udało się zająć obóz cesarza Aleksego III. Kolejne dni nie przyniosły już takich sukcesów, dopóki 17 lipca Aleksy III nie zwątpił w skuteczność dalszej obrony i nie uciekł z miasta. Następnego dnia tłum uwolnił z więzienia obalonego w 1195 Izaaka II Angelosa (ojca pretendenta) i otworzył bramy krzyżowcom.