W Warszawie, był też współorganizatorem księgarni – punktu kontaktowego ludowców, współpracował ze wszystkimi organami prasowymi Stronnictwa Ludowego „Roch”, z ramienia ludowców był koordynatorem akcji pomocowej Żydom „Żegota”, współpracował z komórkami Delegatury Rządu na Kraj, opowiadał się za jednością całego ruchu konspiracyjnego oraz za unifikacją Armii Krajowej i Batalionów Chłopskich.

Zamordowany przez Niemców przy ulicy Podhalańskiej podczas powstania warszawskiego, był najwyższym pod względem pełnionych funkcji cywilnym działaczem politycznym należącym do władz Polskiego Państwa Podziemnego.

Zwłoki Józefa Grudzińskiego, jak i pozostałych osób zamordowanych przez Niemców, zostały odnalezione w ruinach na początku 1946 przez właściciela dawnej kamienicy. Uroczystość pogrzebowa Grudzińskiego stała się wielką manifestacją działaczy ruchu ludowego, rozpoczęła się 22 stycznia 1946 mszą w kościele św. Aleksandra na placu Trzech Krzyży w Warszawie, a zakończyła na cmentarzu na Bródnie (kwatera 64C-4-21).

Bibliografia Stanisław Gawęda, Józef Grudziński, w: Polski Słownik Biograficzny, tom IX, 1960–1961 (tu data śmierci: sierpień 1944). Damian Kozyrski: Józef Grudziński 1903–1944.