11 marca Abdullah Gül podał się do dymisji, kończąc urzędowanie na funkcji premiera 14 marca 2003.
W powołanym wówczas gabinecie Recepa Tayyipa Erdoğana objął stanowiska wicepremiera oraz ministra spraw zagranicznych, które zajmował do sierpnia 2007. W trakcie kierowania przez niego turecką dyplomacją prowadził rozmowy z Unią Europejską dotyczące rozpoczęcia negocjacji akcesyjnych. Próbował również umocnić stosunki z Syrią i relacje z państwami Kaukazu. W 2007 złożył wizytę w Stanach Zjednoczonych, gdzie spotkał się z prezydentem George’em W. Bushem oraz Condoleezzą Rice.
Prezydent Turcji (2007–2014) 24 kwietnia Recep Tayyip Erdoğan ogłosił Abdullaha Güla kandydatem Partii Sprawiedliwości i Rozwoju w wyborach prezydenckich w tym samym roku. Wyboru prezydenta zgodnie z konstytucją dokonywało wówczas 550-osobowe Wielkie Zgromadzenie Narodowe Turcji – większością 2/3 głosów w dwóch pierwszych turach lub zwykłą większością w trzeciej turze. Głosowania z 27 kwietnia i 6 maja 2007 zostały zbojkotowane przez opozycję, na skutek czego zabrakło wymaganego kworum.