W przeddzień wybuchu wojny został skierowany przez władze PPS do prowadzenia akcji konspiracyjnej w Zagłębiu Dąbrowskim, gdzie podjął pracę jako elektromonter w fabryce Schona w Środuli, a następnie w Będzinie.
W sierpniu 1914 zorganizował mobilizację wśród swoich współpracowników i zameldował się w Komendzie Legionów. Został przydzielony do „oddziału beków” porucznika Tomasza Arciszewskiego przeznaczonego do prac wywiadowczo-konspiracyjnych. Wraz z Tomaszem Arciszewskim i Józefem Kobiałko został odkomenderowany na początku listopada 1914 do tworzenia wyodrębnionego z POW „Oddziału Lotnego Wojsk Polskich” do Warszawy. Po utworzeniu Oddziału i jego zaprzysiężeniu przez Tadeusza Żulińskiego pierwszym komendantem został Jan Bielawski. Jak wspominał go działacz PPS Zygmunt Zaremba: Po nieudanej akcji w lutym 1915, w Lubartowie Jan Bielawski odszedł z Oddziału. Nieznany jest jego dalszy los. Istnieje wersja, że został wysłany do Legionu Puławskiego w celu zbuntowania go i przejścia na stronę Józefa Piłsudskiego, gdzie został pojmany i rozstrzelany.