W latach 1996–2003 wchodził w skład pierwszego i drugiego rządu José Maríi Aznara. Od maja 1996 do stycznia 1999 zajmował stanowisko ministra administracji publicznej. Następnie zastąpił Esperanzę Aguirre na czele resortu edukacji i sportu, którym kierował do kwietnia 2000, tj. do końca urzędowania pierwszego gabinetu. W drugim rządzie od kwietnia 2000 do września 2003 sprawował urząd pierwszego wicepremiera. Od kwietnia 2000 do lutego 2001 był jednocześnie ministrem ds. prezydencji odpowiedzialnym za koordynację prac rządu. Ponownie funkcję tę pełnił od lipca 2002 do września 2003, łącząc ją ze stanowiskiem rzecznika prasowego rządu. W międzyczasie, od lutego 2002 do lipca 2002, kierował hiszpańskim ministerstwem spraw wewnętrznych.
W 2003 José María Aznar zadeklarował, że nie będzie ubiegał się o ponowny wybór na premiera w wyborach przewidzianych na 2004. Mariano Rajoy był jednym z faworytów do przejęcia przywództwa w partii, konkurowali z nim Jaime Mayor Oreja i Rodrigo Rato. We wrześniu 2003, po ostatecznym potwierdzeniu rezygnacji przez premiera (pozostającego nadal formalnym przewodniczącym partii), Partia Ludowa wybrała Mariano Rajoya na swojego lidera w kampanii wyborczej. Polityk ustąpił wówczas z funkcji rządowych, obejmując jednocześnie stanowisko sekretarza generalnego swojego ugrupowania.