10 kwietnia 1920 z powodów narodowościowych (nie był Łotyszem) złożył rezygnację z funkcji biskupa ryskiego. W latach 1920–1921 był biskupem tytularnym Canei i delegatem apostolskim na kraje bałtyckie.
thumb|240px|Tablica upamiętniająca biskupa Edwarda O'Rourkego na ścianie bazyliki archikatedralnej w Gdańsku-Oliwie
21 kwietnia 1922 został administratorem apostolskim Wolnego Miasta Gdańska ze stolicą tytularną Pergamon. 2 stycznia 1926 został mianowany biskupem diecezjalnym diecezji gdańskiej. Ingres do Katedry Trójcy Świętej w Gdańsku-Oliwie odbył 1 czerwca 1926. W sposób szczególny dbał o kaszubską ludność katolicką, odprawiał specjalne nabożeństwa dla polskojęzycznych dzieci, wydał polski śpiewnik kościelny i książeczkę do nabożeństwa, żądał od studentów w seminarium duchownym znajomości języka polskiego, na koniec uzyskał u papieża Piusa XI zezwolenie na utworzenie czterech polskich parafii personalnych w Wolnym Mieście, do czego jednak nie doszło ze względu na protesty opanowanego przez nazistów senatu gdańskiego pod przywództwem Arthura Greisera. Po złożeniu funkcji 13 czerwca 1938 został biskupem tytularnym Sofii.