W latach 1981–1983 zasiadał w prezydium Ogólnopolskiego Komitetu Frontu Jedności Narodu. Członkiem Biura Politycznego Komitetu Centralnego był do listopada 1985, członkiem Komitetu Centralnego do lipca 1986. W 1983 wybrany w skład prezydium Krajowej Rady Towarzystwa Przyjaźni Polsko-Radzieckiej. Koniec kariery politycznej Stefana Olszowskiego wiąże się z końcem wpływów byłego szefa wywiadu i szefa MSW Mirosława Milewskiego, który w 1985 nagle został pozbawiony wszystkich stanowisk.
W 1986 wyjechał na stałe do Stanów Zjednoczonych w okresie prezydentury Ronalda Reagana, wkrótce uzyskał zieloną kartę i przez wiele lat rząd Stanów Zjednoczonych zapewniał mu ochronę. Zamieszkał w Nowym Jorku. W 2007 razem z żoną Zofią i synem Mikołajem przeprowadził się do Eastport na Long Island. W 2008 została wydana książka autorstwa Andrzeja Mrozińskiego i Bogdana Rupińskiego pt. How are you doing Mr Olszowski, w której po raz pierwszy opowiedział o swoim życiu, pracy i wyjeździe do Stanów ZjednoczonychHow are you doing, Mr. Olszowski..
Był ostatnim żyjącym ministrem spraw zagranicznych PRL. Zmarł 19 grudnia 2023 w wieku 92 lat.