4 września 2010 po raz drugi zmierzył się z Rafałem Jackiewiczem. Tym razem na punkty decyzją większości (w stosunku 117–111, 117–111 i 114–114) wygrał Słoweniec, który tym samym po raz drugi obronił pas mistrzowski. 18 lutego 2011 kolejny raz bronił pasa IBF, jego przeciwnikiem był Paul Delgado. Dejan Zavec znokautował Amerykanina w piątej rundzie, dodatkowo jego przeciwnik w drugiej rundzie był dwukrotnie liczony. 3 września 2011 stracił tytuł, przegrywając przed czasem z byłym mistrzem WBC Andre Berto; walka została przerwana w piątej rundzie przez lekarza z powodu mocnych rozcięć na twarzy Słoweńca. Na ring powrócił 24 marca 2012. Pokonał wówczas jednogłośnie na punkty w dwunastorundowej walce Bethuela Ushonę. Część branżowych komentatorów krytycznie oceniła sędziowanie w tym pojedynku. 9 marca 2013 Dejan Zavec przegrał jednogłośnie na punkty z Keithem Thurmanem; stawką pojedynku był pas WBO Inter-Continental wagi półśredniej. Ostatnią walkę stoczył 25 listopada 2015, pokonał go wówczas Erislandy Lara.