Po wyborach z 1994, wygranych przez ugrupowanie Vladimíra Mečiara, powrócił do opozycji.
W 1997 został rzecznikiem opozycyjnego porozumienia partii politycznych, które zawiązały Ruch Chrześcijańsko-Demokratyczny (KDH), Partia Demokratyczna (DS), Unia Demokratyczna (DU), Socjaldemokratyczna Partia Słowacji (SDSS) oraz Partia Zielonych na Słowacji (SZS) pod nazwą Słowacka Koalicja Demokratyczna (SDK). W 1998 stanął na czele tej koalicji,
Premier Słowacji Mikuláš Dzurinda został mianowany premierem po raz pierwszy w październiku 1998 jako przewodniczący SDK. Ugrupowaniu temu udało się zbudować wokół siebie koalicję, która odsunęła od władzy HZDS. Pod jego rządami Słowacja została zaproszona do grupy państw negocjujących wstąpienia do Unii Europejskiej i NATO. Rząd przeprowadził reformy wprowadzone, które spowodowały m.in. przystąpienie Słowacji do Organizacji Współpracy Gospodarczej i Rozwoju we wrześniu 2000, wejście w końcową fazę negocjacji z Unią Europejską oraz wzrost inwestycji zagranicznych w kraju. W styczniu 2000 urzędujący premier w ramach SDK założył nową partię polityczną – Słowacką Unię Demokratyczną i Chrześcijańską, do której przystąpiła również Unia Demokratyczna.