Jeszcze w tym samym roku został ponownie aresztowany i zesłany na 10 lat do gułagu na Wyspach Sołowieckich, był tam duszpasterzem wspólnoty 34 kapłanów więzionych w tym obozie. Po ujawnieniu tego faktu został przeniesiony do więzienia w Petersburgu, a następnie do obozu w miejscowości Ledianoje Pole (w rejonie jeziora Ładoga) do wykonywania najcięższych prac przy wyrębie lasu. W 1933 został ponownie przeniesiony do więzienia w Moskwie. Wydostał się na wolność w 1933 dzięki wymianie więźniów między Litwą a ZSSR.
W 1934 odwiedził Rzym, 24 marca odbył audiencję u papieża Piusa XI, a 1 kwietnia brał udział w uroczystościach kanonizacji św. Jana Bosko. Na prośbę emigrantów litewskich udał się do Stanów Zjednoczonych, gdzie odwiedzał parafie, w których były wspólnoty litewskie (m.in. w Nowym Jorku, Bostonie, Cleveland, Sisters i Chicago). W 1936 podróżował do Egiptu, Ziemi Świętej i Polski.
Po powrocie na Litwę został kapelanem sióstr benedyktynek i rektorem kościoła św. Mikołaja w Kownie, pełnił obowiązki oficjała archidiecezji kowieńskiej i Naczelnego Kapelana Wojsk Litewskich.
Po zajęciu Litwy przez Armię Czerwoną w 1940, ponownie trafił do łagrów. Podczas okupacji hitlerowskiej ratował przed zagładą żydowskie dzieci.