Był członkiem założycielem Towarzystwa Naukowego Warszawskiego (1907) i Towarzystwa Miłośników Historii, członkiem czynnym Akademii Nauk Lekarskich. Uniwersytet Warszawski przyznał mu honorowy tytuł profesora historii medycyny, a Uniwersytet Wileński tytuł doktora filozofii.
Józef Bieliński zmarł w Warszawie w 1926. Jest pochowany na cmentarzu Bernardyńskim w Wilnie.
Dzieła Adam Ferdynand Adamowicz: szkic biograficzny, Warszawa, 1885 Doktorowie medycyny promowani w Wilnie, Warszawa, 1886 Andriej Sniadeckij: biograficeskij ocierk po povodu 50-ti letniej godovszcziny smierti, Vilna, 1888 Proces filaretów w Wilnie: dokumenta urzędowe z Teki rektora Twardowskiego, Kraków, 1888 Stan nauk lekarskich za czasów Akademii Medyko-Chirurgicznej Wileńskiej, bibliograficznie przedstawiony : przyczynek do dziejów medycyny w Polsce, Warszawa, 1888 Stan nauk matematyczno-fizycznych za czasów Wszechnicy Wileńskiej: szkic bibliograficzny, Warszawa, 1890 Cesarskie Towarzystwo Lekarskie Wileńskie: jego prace i wydawnictwa (1805-1864), Warszawa, 1890 Julian Augustinowicz Ticius (Titius): biograficzeskij oczierk po povodu 50-letniago jubileja vracziebnoj dejatielnosti, Vilna, 1890 O fizjologiczeskich projavljenijach polovoj zizni u zenszczcin, Wilno, 1891 Piervaja klinika v Vilnie: istoriczieskaja zamietka, Vilna, 1895