Od 8 lipca 1994 do 25 września 1996 zajmował po raz drugi stanowisko ministra edukacji i spraw religijnych. W latach 1996–1997 był koordynatorem rządu ds. organizacji w Atenach Letnich Igrzysk Olimpijskich w 2004. 18 lutego 1999 objął urząd ministra spraw zagranicznych w rządzie premiera Kostasa Simitisa i sprawował go do 13 lutego 2004. Dążył wówczas do poprawy stosunków z sąsiednimi państwami, w tym z Turcją, Albanią i Macedonią. Angażował się w rozwiązanie problemu narodowościowego na Cyprze. Za wkład w rozwój stosunków grecko-tureckich w 2003 otrzymał tytuł dyplomaty roku od magazynu „European Voice”. W 2003 został także wyróżniony Medalem „Zasłużony dla Tolerancji”.
Działalność polityczna w latach 2004–2009 Wyrastał na głównego pretendenta do zastąpienia Kostasa Simitisa na stanowisku lidera partii. W styczniu 2004 były premier ogłosił swoją rezygnację z przywództwa w partii i zarekomendował go na swojego następcę. 8 lutego 2004 w partyjnym głosowaniu Jorgos Papandreu został wybrany większością głosów na nowego przewodniczącego PASOK-u. W wyborach parlamentarnych z marca 2004 PASOK przegrał jednak z Nowa Demokracją i stał się główną siłą opozycyjną. Premierem został wówczas Kostas Karamanlis. Lider socjalistów utrzymał po raz kolejny mandat poselski (tym razem w okręgu Saloniki A).