W Lubowie duchowny zaangażował się w działalność narodową i mimo zakazów głosił kazania i uczył dzieci katechizmu w języku litewskim. Założył również Towarzystwo Odnowienia Narodowego Litwy. Był redaktorem katolickiej gazety w Sejnach. Pisał również kazania dla wydawnictwa Vadovas.
W wyniku represji oraz obawiając się aresztowania i pozbawienia funkcji kapłańskich ks. Juozapas Montvila potajemnie opuścił kraj i na początku 1912 roku wyjechał do Londynu, gdzie mieszkał jego krewny ks. K. Matulaitis. Docelowo Juozapas Montvila planował emigrację do USA, gdzie od 1907 roku mieszkał jego brat Petras. Dzięki zbiórce zakupił bilet w 2 klasie na RMS „Titanic” i wsiadł na pokład statku w porcie Southampton. 14 kwietnia 1912 asystował ks. Thomasowi Bylesowi w trakcie odprawianej przez niego mszy świętej na pokładzie statku. Gdy doszło do zderzenia „Titanica” z górą lodową w nocy z 14 na 15 kwietnia 1912, ks. Montvila odmówił skorzystania z zaproponowanego mu miejsca w szalupie ratunkowej i podobnie jak dwaj inni obecni na statku duchowni: ks.