Rozmowy z KPN zakończyły się niepowodzeniem.
Gabinet został odwołany przez Sejm w nocnym głosowaniu po północy 5 czerwca 1992 (co w publicystyce prawicowej otrzymało później miano nocy teczek), kilkanaście godzin po wykonaniu przez ministra spraw wewnętrznych Antoniego Macierewicza uchwały Sejmu o ujawnieniu tajnych współpracowników Służby Bezpieczeństwa (tzw. lista Macierewicza), na której znalazło się m.in. 3 ministrów i 8 wiceministrów rządu Jana Olszewskiego. Premier, popierając decyzję Antoniego Macierewicza, zaproponował w porozumieniu z I prezesem Sądu Najwyższego Adamem Strzemboszem powołanie niezależnej komisji dla oceny prawdziwości przedstawionych materiałów. Sejm nie rozpatrzył tego wniosku. Na przyspieszenie rozpatrywania wniosku o odwołanie rządu wpłynął prezydent Lech Wałęsa, który złożył 4 czerwca 1992 własny wniosek o odwołanie premiera.
Rząd w okresie premiera Waldemara Pawlaka Dzień po odwołaniu rządu Jana Olszewskiego prezydent Lech Wałęsa desygnował na szefa rządu prezesa PSL Waldemara Pawlaka. Sejm tego samego dnia powołał go na urząd premiera, powierzając misję przedstawienia wniosków co do nowej Rady MinistrówUchwała Sejmu Rzeczypospolitej Polskiej z dnia 5 czerwca 1992 w sprawie powołania Prezesa Rady Ministrów ()..