W 1948 został przeniesiony do Tucholi, gdzie również pełnił obowiązki dziekana. Tam mianowano go honorowym kanonikiem kapituły chełmińskiej. Od zakończenia działań wojennych aż do śmierci był stale obserwowany i nękany przez Urząd Bezpieczeństwa. We wszystkich jego posunięciach duszpasterskich i społecznych doszukiwano się wrogiej działalności przeciw ludowej władzy. Był jednym z nielicznych księży rozpracowywanych tuż przed zakończeniem wojny. Zmarł 4 grudnia 1961 r. i został pochowany na cmentarzu parafialnym w Tucholi. Jego pogrzeb stał się uroczystością patriotyczną.
Ordery i odznaczenia Krzyż Walecznych (dwukrotnie) Złoty Krzyż Zasługi z Mieczami Srebrny Krzyż Zasługi (22 grudnia 1927)M.P. z 1927 r. nr 295, poz. 813 „za zasługi na polu pracy narodowej i społecznej”. Miecze Hallerowskie (21 sierpnia 1932)Gazeta Bydgoska, R. 11, nr 193 (24 sierpnia 1932), s. 2. Odznaka Frontu Pomorskiego Odznaka pamiątkowa Organizacji Wojskowej Pomorza 1918–1920
Upamiętnienie Ks. Józef Wrycza jest patronem ulic w Chełmży, Wielu, Tucholi, Brusach, Czersku, Chojnicach, Kościerzynie, Starogardzie Gdańskim i Tczewie.