Po przejściu na emeryturę jeszcze przez kilka lat regularnie chodził do pracy w muzeum.
1 sierpnia 2003 roku został przeniesiony do Polski i zamieszkał w Domu Misyjnym św. Józefa w Górnej Grupie. Po powrocie do Polski miał problemy krążeniowe (zmiana klimatu). Stan jego zdrowia uległ nagłemu załamaniu w dniu 2 lutego. Zmarł 3 lutego wkrótce po przewiezieniu go do szpitala w Grudziądzu.
Pogrzeb o. Józefa Penkowskiego odbył się 7 lutego 2006. Liturgii pogrzebowej przewodniczył bp Piotr Krupa z Pelplina. Homilię pogrzebową wygłosił towarzyszysz jego drogi od 1946 roku o. Kazimierz Stankowski. W pogrzebie uczestniczyli księża z dwóch dekanatów, współbracia z wszystkich domów zakonnych SVD w Polsce oraz jego rodzeństwo z rodzinami. Słowo podziękowania pod adresem zmarłego i wszystkich przybyłych na pogrzeb skierował ojciec prowincjał Ireneusz Piskorek. Zmarły spoczął na cmentarzu klasztornym w Górnej Grupie.