Losy do 1100 roku Baldwin wywodził się z majętnego rodu Rethel, mającego swe posiadłości na północy Francji. Będąc drugim synem Hugona I, hrabiego Rethel, prawdopodobnie otrzymał od ojca zamek w Le Bourg, którym zarządzał przez nieznany okres. W 1096 roku zdecydował się na udział w I wyprawie krzyżowej, dołączając do armii prowadzonej przez swojego kuzyna Gotfryda z Bouillon. Jako jeden z ważniejszych uczestników krucjaty brał aktywny udział we wszystkich etapach wojny; źródła wspominają o nim przy okazji oblężenia Nicei, bitwy pod Doryleum oraz cylicyjskiej kampanii Baldwina z Boulogne, młodszego brata Gotfryda. Wiosną 1099 roku wraz z Tankredem z Hauteville zdobył Betlejem, a następnie wziął udział m.in. w oblężeniu i zdobyciu Jerozolimy.
Po zakończeniu pierwszej wyprawy krzyżowej przebywał w Antiochii, będąc łącznikiem między panującym tam Boemundem I a swoim kuzynem Baldwinem I, który objął we władanie nowo utworzone Hrabstwo Edessy. Gdy w 1100 roku Boemund I dostał się do tureckiej niewoli, Baldwin z Le Bourg sprawował tam rządy w jego zastępstwie.