Partia Ludowa przegrała jednak w wyborach w 2004. Za główną przyczynę uznano zamachy terrorystyczne w Madrycie, które miały miejsce na trzy dni przed głosowaniem. Ugrupowanie przeszło wówczas do opozycji wobec gabinetu Hiszpańskiej Socjalistycznej Partii Robotniczej. Mariano Rajoy w październiku tegoż roku wystartował na przewodniczącego Partii Ludowej, uzyskując poparcie na poziomie 98%. Poprowadził swoją formację do kolejnych wyborów w 2008. Ludowcy odnotowali lepszy wynik, jednak ponownie przegrali z PSOE. Lider PP utrzymał jednak przywództwo w partii – na kongresie w czerwcu 2008 poparło go 84% delegatów.
Premier Hiszpanii Kryzys finansowy i wiążące się z nim załamanie rynku nieruchomości oraz rosnące bezrobocie przyczyniły do przedterminowych wyborów parlamentarnych w 2011. Partia Ludowa odniosła w nich zwycięstwo, uzyskując najlepszy wynik w historii – 186 mandatów w 350-osobowym Kongresie Deputowanych. 20 grudnia 2011 niższa izba parlamentu powołała Mariano Rajoya na urząd premiera. 21 grudnia 2011 jego gabinet został zaprzysiężony i rozpoczął urzędowanie. Rząd ten funkcjonował przez całą kadencję, w ramach przeciwdziałania kryzysowi gospodarczemu prowadził politykę ograniczania wydatków publicznych.