Został mianowany przełożonym jezuitów w Japonii i mistrzem nowicjatu w 1942. Nowicjat znajdował się na przedmieściach Hiroszimy. 6 sierpnia 1945 na miasto spadła bomba atomowa. Jako jeden z pierwszych lekarzy dotarł z pomocą do centrum. Wrażenia podsumował tak: to pozahistoryczne doświadczenie na trwałe naznaczyło moją pamięć. Niosąc pomoc medyczną poranionym i umierającym, przekształcił dom nowicjatu w szpital polowy dla ponad 200 ciężko poparzonych.
W latach 1958–1965 był pierwszym prowincjałem jezuitów w Japonii.
Przełożony generalny Na XXXI Kongregacji Generalnej w 1965 został wybrany 28. przełożonym generalnym. Wypełniał te obowiązki do 1983. Szczególnie ważnym momentem jego rządów była zwołana w 1975 XXXII Kongregacja Generalna.
Sen o. Arrupe nabrał realnych kształtów w czwartym dekrecie tej kongregacji: Nasz misja dzisiaj: Służba wierze i promocja sprawiedliwości. Dekret ten definiował cel działań jezuitów jak promocja wiary i sprawiedliwości. Wmieszanie religii w politykę zawsze jest kontrowersyjne, tak więc jednoznaczne powiązanie pracy jezuitów z promocją sprawiedliwości było znaczącą deklaracją. Dekret ten był tak gorąco komentowany, iż pod głosowanie trafił w ostatnich dniach kongregacji, tj. 7 marca 1975, i został przyjęty przez zdecydowaną większość delegatów.