Istnieją różne teorie na temat powodów tej rezygnacji: jedne mówią o chęci zawarcia małżeństwa przez Benedykta, natomiast inne o sprzedaży urzędu papieskiego za tysiąc funtów srebra.
Benedykt wycofał się wówczas do rodzinnego Tusculum. W 1046 roku do Rzymu przybył król Henryk III, który chciał zreformować Kościół i otrzymać koronę cesarską – z tego powodu zwołał synod w Sutri (20 grudnia 1046), na którym mieli stawić się wszyscy trzej papieże. Jednak Benedykt się na nim nie stawił i z tego powodu został oficjalnie zdjęty z urzędu 24 grudnia. Król Henryk III odwołał także dwóch pozostałych papieży, przy czym Sylwester mógł pozostać w Rzymie, natomiast Grzegorza kazał wygnać do Kolonii. Na papieża został wtedy wybrany Swidger z Bambergu, który przyjął imię Klemensa II. Zmarł on jednak 9 października 1047.
Trzeci pontyfikat Po nagłej śmierci Klemensa, Benedykt został ponownie wybrany papieżem 8 listopada 1047 roku, przy pomocy entuzjastycznego ludu i łapownictwa. 16 lipca 1048 roku hrabia Bonifacy z Toksanii, niechętnie podporządkował się królowi Henrykowi i usunął przy użyciu siły Benedykta z Tronu Piotrowego, a następnie intronizował Damazego II.