8 listopada 1958 Olszowski został mianowany biskupem tytularnym Atrybi i administratorem apostolskim pro catholicis urbem Kiev eademque Rempublicam Ucrainam. Władze radzieckie uznały nominację za nielegalną i wydaliły biskupa nominata do PRL w marcu 1959. Olszowski spędził pierwsze miesiące w Krakowie, następnie w czerwcu 1959 osiadł we Wrocławiu, gdzie został wikariuszem i prefektem religii parafii katedralnej oraz diecezjalnym duszpasterzem niewidomych. Od 1 września 1960 pełnił funkcję dziekana dekanatu Głogów oraz administratora parafii św. Mikołaja w Głogowie.
Od czerwca do września 1962 przebywał w Rzymie na zaproszenie prałata Władysława Rubina (późniejszego kardynała). Tam dowiedział się, że z powodu zaistniałych trudności jego nominacja biskupia została cofnięta już w 1959. Został przyjęty na prywatnej audiencji przez Jana XXIII w letniej rezydencji Castelgandolfo, a 24 listopada 1962 mianowany papieskim szambelanem honorowym.
Wkrótce pogorszeniu uległ jego stan zdrowia. W latach 1966–1968 przebywał na urlopie zdrowotnym w Świeradowie-Zdroju, gdzie pełnił funkcję kapelana Sióstr Zmartwychwstanek. 15 lipca 1968 został mianowany proboszczem parafii w Biedrzychowicach Górnych koło Bogatyni. W 1972 zmarł wskutek choroby nowotworowej.