Działalność polityczna do 2011 Był związany z konserwatywną partią UNE, współtworzącą w drugiej połowie lat 70. Sojusz Ludowy (AP) Manuela Fragi Iribarne. W 1989 wraz z tym ugrupowaniem brał udział w powołaniu Partii Ludowej (PP). W 1981 uzyskał mandat posła do regionalnego parlamentu Galicji. W administracji wspólnoty autonomicznej w 1982 objął stanowisko dyrektora generalnego do spraw instytucjonalnych. W 1983 został radnym Pontevedry, od tegoż roku do 1986 pełnił funkcję przewodniczącego diputación provincial, organu zarządzającego prowincją Pontevedra. W 1986 został wiceprzewodniczącym rządu Galicji. Utracił jednak to stanowisko w 1987, gdy w regionie doszło do zmiany koalicji rządzącej. Jednocześnie awansował w partyjnej strukturze Sojuszu Ludowego, kierował jego oddziałem na poziomie prowincji.
W 1986 po raz pierwszy został wybrany do Kongresu Deputowanych. Od tego czasu z powodzeniem ubiegał się o reelekcję do niższej izby Kortezów Generalnych w kolejnych wyborach w 1989, 1993, 1996, 2000, 2004, 2008 i 2011. W 1990, gdy José María Aznar stanął na czele Partii Ludowej, Mariano Rajoy został zastępcą sekretarza generalnego tego ugrupowania. Funkcję tę pełnił nieprzerwanie do 2003.