Schwalke, pomagając w pracy duszpasterskiej prałatowi Paulowi Hoppemu.
W 1975 Hoppe przeszedł w stan spoczynku; 11 marca tegoż roku Paweł VI naznaczył jego następcą Johannesa Schwalke, który tym samym z urzędu wszedł w skład Konferencji Biskupów Niemieckich. Schwalke prowadził aktywną działalność na rzecz współpracy wiernych diecezji (od marca 1992 archidiecezji) warmińskiej pozostających w Polsce i w Niemczech, przez wiele lat kierował Fundacją im. Biskupa Maksymiliana Kallera. Współpracował z metropolitą warmińskim Edmundem Piszczem. Organizował wycieczki wiernych pozostających pod jego opieką duszpasterską do miejsc ich urodzenia. Efektem jego działalności było m.in. odprawienie pierwszej mszy w języku niemieckim dla mniejszości niemieckiej na Warmii w czerwcu 1991, tuż przed wizytą w diecezji papieża Jana Pawła II.
W 1998 Schwalke osiągnął wiek emerytalny 75 lat i przeszedł w stan spoczynku, jednak wobec braku powołania następcy pozostał tymczasowym zarządcą wizytatury apostolskiej do marca 2000. W 2005, razem z nowym wizytatorem ks. Lotharem Schlegelem, został powołany w skład kapituły warmińskiej;