Pod koniec października 1939 Niemcy wypuścili go na wolność. Józef Baran powrócił w rodzinne strony do Leżajska i wkrótce zaangażował się w działalność konspiracyjną. Na przełomie lat 1939/1940 zaczął tworzyć w formie szkieletowej batalion „Ziemi Leżajskiej” Organizacji Wojskowej Stronnictwa Narodowego (późniejszego NOW). 16 maja 1941 aresztowało go Gestapo i został osadzony w więzieniu w Przemyślu. Po wybuchu wojny niemiecko-sowieckiej w czerwcu 1941, wykorzystał uszkodzenie wybuchem bomby budynku więziennego i zbiegł. Udał się do Jarosławia. Do końca listopada 1942 ukrywał się gospodarstwie rolnym członka NOW we wsi Maleniska. Następnie wyjechał do swojej siostry Marii Lenczewskiej do Łosic w pow. siedleckim. Tam, pod fałszywym nazwiskiem Zakrzewski, podjął pracę w spółdzielni rolniczej. Jednocześnie został członkiem NSZ. W połowie lutego 1943 mianowano go komendantem Okręgu IVC Rzeszowskiego NSZ. Jednakże już w połowie tego roku powrócił do NOW, w którym otrzymał stanowisko szefa sztabu w komendzie Okręgu Rzeszowskiego. Po scaleniu NOW z AK objął funkcję oficera artylerii w komendzie podokręgu Rzeszów AK. Spośród przedwojennych oficerów, podchorążych i podoficerów artylerii zaczął organizować szkielet dywizjonu artylerii. Dobrany zespół przeszedł przyśpieszone przeszkolenie z zakresu instrukcji strzelania i działoczynów.