W czerwcu 1941, po inwazji niemieckiej na ZSRR, zaangażował się w działalność konspiracyjną – początkowo w szeregach ZWZ-AK, a od kwietnia 1943 w Narodowej Organizacji Wojskowej. Został inspektorem Okręgu Białostockiego i komendantem szkoły podchorążych. W tym czasie otrzymał awans do stopnia majora. Jednocześnie już od września 1941 był dowódcą oddziału partyzanckiego działającego na Białostocczyźnie. Do najważniejszych jego akcji bojowych należało schwytanie w zasadzce 1 maja 1943 w majątku Poryte-Jabłoń koło Łomży ministra Rzeszy i generalnego gubernatora Ost Alfreda Rosenberga. Wymieniono go na 402 aresztowanych Polaków z więzień w Białymstoku, Grajewie, Łomży i Szczuczynie. Niemcy zobowiązali się także do nie podejmowania represji wobec miejscowej ludności. Ponadto oddział mjr. J. Szklarka m.in. w sierpniu 1943 rozbił obóz pracy w Knyszynie, uwalniając osadzonych tam Polaków, w czerwcu 1944 zwycięsko walczył z niemieckimi oddziałami pancernymi i 285 batalionem Waffen-SS, w lipcu i sierpniu tego roku podczas ofensywy sowieckiej prowadził liczne działania dywersyjne na tyłach frontu w Puszczy Augustowskiej i Knyszyńskiej.