Aby móc sprostać temu zadaniu, w 1524 wyrzekł się posiadanych lukratywnych urzędów (w tym obu biskupstw) i stanął na czele zakonu żebraczego teatynów.
Wybrany w 1534 papież Paweł III wezwał Carafę do Rzymu i 22 grudnia 1536 mianował go kardynałem. Od roku 1537 do 1541 był kardynałem prezbiterem San Sisto, od 1541 do 1543 – kardynałem prezbiterem San Clemence, a od 1543 do 1544 kardynałem prezbiterem Santa Maria in Trastevere. Był jednym z czołowych współpracowników tego papieża w reformowaniu Kurii Rzymskiej, należał do kilku komisji kardynalskich poświęconych temu zagadnieniu. W 1542 wszedł w skład trybunału Rzymskiej Inkwizycji, gdzie był znany ze swojej bezkompromisowości. W 1544 został kardynałem biskupem Albano, a następnie Sabiny (1546), Frascati (1550), Porto e S. Rufina (1553) i na koniec Ostia e Velletri (1553). W 1537 Paweł III mianował go arcybiskupem Chieti, a w 1549 przeniósł do archidiecezji Neapolu. Od 1553 sprawował funkcję dziekana Kolegium Kardynałów. Na papieża został wybrany 23 maja 1555 i przyjął imię Paweł IV.