Pracował jako misjonarz na KrymieGregorianum. Periodicum trimestre a Pontificia Universitate Gregoriana editum, , Bd. 52 (1971), S. 841.. W 1923 zastąpił amerykańskiego jezuitę Edmunda A. Walsha i został kierownikiem papieskiej akcji humanitarnej w Moskwie. Jego starania o mianowanie delegatem apostolskim w Moskwie zostały zablokowane przez rząd sowiecki. Mimo toczących przez Eugenio Pacelli tajnych negocjacji, został wezwany do opuszczenie Rosji pod koniec sierpnia 1924 rokuMichael F. Feldkamp: Pius XII. und Deutschland. Vandenhoeck & Ruprecht, Göttingen 2000, , s. 50..
W latach 1925–1929, z inicjatywy papieża Piusa XI, Gehrmann został prywatnym sekretarzem nuncjuszy apostolskich Eugenio Pacellego (późniejszego papieża Piusa XII) i Cesare Orsenigo, w obu przypadkach w Berlinie. W ten sposób nadal był zaangażowany w negocjacje Stolicy Apostolskiej ze Związkiem RadzieckimMichael F. Feldkamp: Pius XII. und Deutschland. Vandenhoeck & Ruprecht, Göttingen 2000, , s. 50..