Jako nauczyciel matematyki rozpoczął pracę w Gimnazjum Polskim z dniem 20 października 1933 r., a w roku 1935 objął dodatkowo opiekę nad zajęciami z modelarstwa lotniczego, w ramach Ligi Obrony Powietrznej i Przeciwgazowej.
W ramach działalności społecznej w Związku Polaków w Wolnym Mieście Gdańsku prowadził na kursach repolonizacyjnych naukę języka polskiego. W maju 1939 r. został członkiem Tajnej Organizacji do Walki Zbrojnej z Niemcami na terenie Wolnego Miasta, a w czerwcu zlecono mu zorganizowanie w Gimnazjum grupy młodzieży w ramach tej organizacji. Zobowiązany do zgłoszenia się w Gdańsku w dniu rozpoczęcia wojny pozostał w mieście, a wobec trudności w nawiązaniu kontaktu z ośrodkiem dyspozycyjnym akcji zbrojnej zabezpieczył broń i amunicję, a młodzież doprowadził do granicy polsko-gdańskiej, sam zostając na terenie Gdańska. Podczas ponad miesiąca pobytu mieszkał w dzielnicy Wrzeszcz u nauczycielki byłego już Gimnazjum Polskiego, Heleny Rakowskiej, chroniąc się przed aresztowaniem. Nauczyciele Gimnazjum Polskiego byli przez Niemców przeznaczeni na zagładę i od pierwszego dnia wojny poszukiwani i aresztowani. Wielu zginęło w Stutthofie (obecnie Sztutowo) i Piaśnicy. W dniu 7 października 1939 Józef Wełniak przekroczył granicę i przez Gdynię udał się do domu rodzinnego w Gnieźnie.