Po wojnie polsko-bolszewickiej rząd polski, za zasługi w walce z Armią Czerwoną, nadał bałachowcom obywatelstwo polskie, a także zapewnił możliwość zamieszkania i zatrudnienia na terenie Polski. Józef Bułak-Bałachowicz został mianowany generałem brygady. W maju 1921 przybył do Białowieży wraz z bratem i blisko 200-osobową grupą podwładnych. Zamieszkał z rodziną w prywatnym domu Filimona Waszkiewicza na Tropince. Zajmował się początkowo problemami zakwaterowania i zatrudnienia bałachowców, później transportem państwowego materiału drzewnego z lasu do stacji w Białowieży. Współpracował z miejscowym Zarządem Okręgowym Lasów Państwowych. Obaj bracia posiadali udziały w tartaku w Hajnówce.
Został zamordowany 11 czerwca 1923 – prawdopodobnie zamach przygotowany przez bolszewicką policję polityczną wymierzony był przeciwko Stanisławowi, który tej tragicznej nocy miał jechać do Hajnówki, ale niespodziewanie znarowił mu się koń. Ponieważ sprawa była pilna, zamiast Stanisława pojechał jego brat Józef. Wyjechał z Białowieży późnym wieczorem, by na rano być na miejscu.