21 grudnia 1946 roku został skazany przez Wojskowy Sąd Rejonowy w Warszawie na 10 lat więzienia oraz kary dodatkowe. Został osadzony w Zakładzie Karnym we Wronkach. 1 marca 1947 roku został objęty częściową amnestią, przewidującym zmniejszenie wyroku do pięciu lat więzienia. 28 lutego 1948 roku Wojskowy Sąd Rejonowy bezskutecznie wystąpił do Bolesława Bieruta wniosek o zastosowanie prawa łaski. Pod koniec 1948 roku prokurator wojskowy płk Antoni Skulbaszewski nielegalnie uchylił postanowienie o amnestii. Chory na gruźlicę Józef Gruss został zwolniony z więzienia 1 grudnia 1954 roku.

Akt uchylenia amnestii zniesiono 10 lipca 1957 roku, po interwencji Najwyższego Sądu Wojskowego. Żył ze skromnej renty.

Zmarł 24 stycznia 1969 w Domu Pomocy Społecznej w Kołudzie Małej. Został pochowany na cmentarzu na Jarach w Bydgoszczy.

W 1934 roku ożenił się z Ireną Wawrzyniak, córką nauczyciela w Tucholi. Był ojcem Stanisława i Jerzego.

24 września 2000 roku w Bazylice św. Wincentego a Paulo w Bydgoszczy umieszczono tablicę upamiętniającą liderów Polskiego Państwa Podziemnego na Pomorzu i Kujawach. Wśród wymienionych widnieje mjr Józef Gruss.