28 października 2009, po kolejnych wyborach federalnych, objął urząd ministra obrony w drugim rządzie Angeli Merkel. Był krytykowany za brak kontroli nad resortem i niedostateczne informowanie parlamentu i opinii publicznej na temat śmierci żołnierza Bundeswehry 17 grudnia 2010 w bazie w Afganistanie oraz otwierania listów żołnierzy z poczty polowej w tym kraju. Kontrowersje wzbudził także śmiertelny wypadek kadetki, która 7 listopada 2010 spadła z masztu na statku szkoleniowym niemieckiej marynarki „Gorch Fock”.
Z urzędu ministra ustąpił 1 marca 2011, kończąc urzędowanie dwa dni później. Zrezygnował też wówczas z mandatu deputowanego. Przyczyną było ujawnienie w połowie lutego plagiatu w jego pracy doktorskiej z zakresu prawa konstytucyjnego. 23 lutego 2011 Universität Bayreuth odebrał mu ten stopień, a sam polityk przyznał w liście do uczelni, że jego praca była obciążona poważnymi błędami. Prowadzone postępowanie karne umorzono w związku z wpłaceniem przez Karla-Theodora zu Guttenberga 20 tys. euro na cele charytatywne.
Po odejściu z funkcji publicznych zajął się m.in. działalnością konsultingową. Pracował w w Waszyngtonie. Na University of Southampton obronił pracę doktorską na temat bankowości korespondencyjnej.