W marcu 2006 aktywnie uczestniczył w kampanii VVD w czasie wyborów lokalnych.
31 maja 2006 na zjeździe Partii Ludowej na rzecz Wolności i Demokracji został wybrany na nowego lidera ugrupowania, zdobywając 51,5% głosów delegatów. 27 czerwca 2006 zrezygnował ze stanowiska sekretarza stanu, po czym powrócił do pełnienia mandatu deputowanego. Został przewodniczącym frakcji poselskiej VVD w Tweede Kamer. W wyborach parlamentarnych w listopadzie 2006 Partia Ludowa na rzecz Wolności i Demokracji zajęła pod jego przewodnictwem czwarte miejsce i znalazła się w opozycji. Mark Rutte jako lider listy wyborczej (lijsttrekker) ponownie uzyskał mandat poselski, który utrzymywał w 2010, 2012, 2017 i 2021.
Premier W wyborach parlamentarnych w czerwcu 2010 VVD odniosła zwycięstwo, zdobywając 31 mandatów w parlamencie. Markowi Rutte jako liderowi zwycięskiego ugrupowania przypadła rola sformowania nowego gabinetu. W czasie kampanii wyborczej jego partia opowiadała się za zdecydowanymi cięciami wydatków publicznych (co najmniej 20 mld euro w ciągu 4 lat), ograniczaniem wydatków na administrację, podniesieniem wieku emerytalnego i redukcją zasiłków dla imigrantów.