W czasie jednego z transportów jeńców udało mu się uciec i przedostać do Warszawy, przez co uniknął losu polskich oficerów w obozach na Wschodzie.

W konspiracji, gdzie używał pseudonimu „Chevrolet”, dołączył do tworzonego od listopada 1939 r. oddziału saperów kolejowych, który w kwietniu 1940 r. wszedł w skład Związku Odwetu, organizacji sabotażowo-dywersyjnej będącej częścią składową ZWZ. Kapitan Józef Paroński był początkowo dowódcą jednego z kilkuosobowych patroli saperskich, a następnie od sierpnia 1940 r. objął stanowisko referenta (dowódcy) saperów w Rejonie I powiatu warszawskiego – Legionowo. Zadaniem oddziału saperów kolejowych w chwili wybuchu powstania miało być izolowanie warszawskiego węzła kolejowego poprzez zniszczenie linii kolejowych, mostów, wiaduktów oraz urządzeń stacyjnych. Największym osiągnięciem bojowym „Związku Odwetu” w zakresie dywersji kolejowej były: akcja „Wieniec” (7/8 października 1942 r.) oraz akcja „Odwet kolejowy” (16/17 października 1942 r.), w wyniku których wysadzone zostały tory wokół Warszawy, zniszczony jeden most kolejowy i uszkodzony drugi, wykolejonych 8 pociągów niemieckich. Od stycznia 1943 do lipca 1944 w Kierownictwie Dywersji Okręgu Warszawskiego Armii Krajowej.