Kadencję rozpoczął 20 października tego samego roku, w Senacie VI kadencji był członkiem komisji spraw zagranicznych.
31 października 2005 został zaprzysiężony na ministra obrony narodowej w rządzie Kazimierza Marcinkiewicza, a 14 lipca 2006 w rządzie Jarosława Kaczyńskiego. Podczas swojej kadencji w MON przeniósł akta z okresu Układu Warszawskiego do Instytutu Pamięci Narodowej, odtajnił mapy, które obrazowały sowieckie plany użycia broni nuklearnej w konflikcie z NATO, oraz odebrał wojskową emeryturę Helenie Brus.
5 lutego 2007 podał się do dymisji. W mediach jako przyczynę dymisji wskazywał na konflikt z szefem Służby Kontrwywiadu Wojskowego Antonim Macierewiczem, któremu wcześniej udzielił pisemnej reprymendy. Rezygnacja została przyjęta przez premiera Jarosława Kaczyńskiego.
12 września 2007 ogłosił, że będzie kandydował do Sejmu z listy Platformy Obywatelskiej z okręgu bydgoskiego. W wyborach parlamentarnych, które odbyły się 21 października tego samego roku, otrzymał 117 219 głosów i zdobył mandat posła na Sejm VI kadencji. Z powodów zdrowotnych nie był obecny na inauguracji Sejmu 5 listopada 2007, ślubowanie poselskie złożył dzień później. 16 listopada tego samego roku został powołany na stanowisko Ministra Spraw Zagranicznych w pierwszym rządzie Donalda Tuska.