Po zakończeniu kariery pozostał w Radomiaku jako trener. Początkowo prowadził zespoły juniorskie oraz drużynę Szkoły Podstawowej nr 5 w Radomiu, objętą patronatem Radomiaka. W rundzie wiosennej sezonu 1981/1982 został asystentem Józefa Antoniaka w pierwszej drużynie Radomiaka występującej wówczas w II lidze. Jako asystent trenera uczestniczył w historycznym awansie Radomiaka do ekstraklasy w 1984. Drużyna grała na tym poziomie rozgrywek jeden sezon - 1984/1985, a J. Zieliński stracił swoją funkcję po spadku do II ligi.
W sezonie 1986/1987 został I trenerem Radomiaka, występującego wówczas w II lidze, stracił swoją funkcję na rzecz Aleksandra Papiewskiego po czterech kolejkach, ale powrócił przed końcem rundy wiosennej tego sezonu i odszedł w trakcie rundy jesiennej sezonu 1988/1989. W kolejnych latach prowadził m.in. Szydłowiankę (1990/1991), Pilicę Nowe Miasto (1992/1993 w III lidze).