Mieli oni nadzieję, iż CD przejmie głosy tych, którzy oddali je na Unię Demokratycznego Centrum (UCD) w 1977 roku, a którzy zawiedli się na rządzie Adolfo Suáreza. Jednak podczas wyborów parlamentarnych w 1979 roku, CD uzyskało tylko 6,1% głosów. Głęboko zawiedziony, Fraga zrezygnował z przywództwa w partii.
Jednak w czasie III Kongresu AP w grudniu 1979 roku, wielu liderów partii ubolewało nad zaangażowaniem ugrupowania w CD. Wielu czuło, że stworzenie tej koalicji zdezorientowało wyborców i postanowili, iż należy wzmocnić odrębność ideową AP. Fraga powrócił na pozycję lidera, a dokument przyjęty przez Kongres potwierdził konserwatywną orientację AP.
We wczesnych latach 80. Fraga zjednoczył wiele ugrupowań prawicowych pod swoim przywództwem. Pomagała mu w tym stopniowa dezintegracja UCD. Podczas wyborów parlamentarnych w 1982 roku, AP zyskał głosy zarówno byłych zwolenników UCD, jak i skrajnych prawicowców, otrzymując 25,4% głosów i stając się największą partią opozycyjną. Partia weszła w sojusz z mniejszą chadecką Demokratyczną Partią Ludową (PDP) i w 1982 roku dysponowała 106 miejscami w parlamencie. Wzrost poparcia dla AP przełożył się na wyniki wyborów municypalnych i regionalnych z maja 1983 roku, kiedy to partia otrzymała 26% głosów.