7 stycznia 1938 został nominowany biskupem polowym Niemiec i tytularnym biskupem Hierocezarei. 20 lutego 1938 został konsekrowany na biskupa przez abp. Cesara Orsenigo, bp. Konrada von Preysinga i bp. Clemensa Augusta von Galena.
W okresie wykonywania funkcji katolickiego biskupa wojskowego czynnie wspierał reżim Adolfa Hitlera. O jego negatywnej roli wspomniano w wydanym 29 kwietnia 2020 z okazji 75. rocznicy zakończenia II wojny światowej stanowisku Niemieckiej Konferencji Biskupów pt. Deutsche Bischöfe im Weltkrieg. Wort zum Ende des Zweiten Weltkriegs vor 75 Jahren. Stwierdzono tam: „Szczególnie problematyczną i negatywną rolę odegrał biskup polowy Franz Justus Rarkowski. Nie będąc członkiem Konferencji Biskupów i jako niemiecko-nacjonalistyczny wyrzutek w Kościele, starał się mobilizować religijne i duchowe siły żołnierzy w zupełnej zgodności ze stylem właściwym dowództwu Wehrmachtu”.
Wraz z napaścią III Rzeszy na Polskę we wrześniu 1939 wydał odezwę do niemieckich żołnierzy, w której znalazły się słowa:
Począwszy od wiosny 1944 nie sprawował swojej funkcji w siłach zbrojnych. 1 lutego 1945 złożył rezygnację z pełnienia urzędu biskupa polowego III Rzeszy. Finalną fazę jego działalności jeden z badaczy zrelacjonował następująco: