Po święceniach kapłańskich był kapelanem w Domu Ubogich. Studiował historię Kościoła, geografię i historię prawa na Uniwersytecie Jagiellońskim (1902–1906), jednocześnie ucząc w Małym Seminarium Księży Misjonarzy i kierując stowarzyszeniem charytatywnym. Redagował pisma, w tym kwartalnik „Miłosierdzie Chrześcijańskie”, publikując artykuły pod różnymi pseudonimami, np. „Kapłan Górnośląski”. W latach 1905-1919 wykładał w Seminarium Duchownym na Stradomiu oraz uczył w krakowskich szkołach.
18 października 1921 roku ks. Jan Rzymełka wyjechał do Brazylii, by pełnić posługę duszpasterską wśród polskich emigrantów. Warunki, które zastał w Brazylii, były trudne – rozproszone społeczności polonijne zmagały się z izolacją, brakiem wsparcia i zanikiem języka polskiego. Ks. Rzymełka z ogromnym zaangażowaniem scalał te społeczności, zakładając organizację „Oświata”, której był twórcą i prezesem. Organizacja rozwijała polskie szkolnictwo, organizowała odczyty, spotkania, kursy dla nauczycieli, przedstawienia teatralne, a także biblioteki. Dzięki jego wysiłkom udało się także postawić na nogi zadłużony i podupadający polonijny tygodnik „Lud”. Ks. Rzymełka wydawał liczne podręczniki szkolne i naukowe, a wspólnie z ks. St.