Z jego inicjatywy powstało nowe seminarium duchowne w Braniewie (wkrótce zniszczone w okresie działań wojennych).

10 czerwca 1939 mianowany został dodatkowo administratorem apostolskim prałatury w Kłajpedzie.

7 lutego 1945 gestapo wywiozło biskupa do Gdańska, a następnie w głąb Niemiec. Po zakończeniu wojny powrócił (między 8 a 10 sierpnia 1945) do diecezji. Planował przenieść siedzibę diecezji do Olsztyna. Decyzję o jego wysiedleniu podjął 13 sierpnia 1945 Okręgowy Polski Komitet Narodowościowy w Olsztynie. 16 sierpnia 1945 po rozmowie z prymasem Polski kardynałem Augustem Hlondem, posiadającym specjalne pełnomocnictwa papieskie, zrezygnował z diecezji, zatrzymując tytuł biskupa warmińskiego. Wyjechał do Niemiec; w 1946 papież Pius XII mianował go specjalnym doradcą do spraw wysiedleńców. Zmarł na atak serca 7 lipca we Frankfurcie nad Menem, pochowano go 10 lipca w Königstein im Taunus.

Po śmierci biskupa Kallera tron biskupi pozostawał przez długie lata nieobsadzony. Zarówno w Polsce, jak i w Niemczech rezydowali wikariusze kapitulni;