W 2000 został sekretarzem krajowym i przewodniczącym klubu parlamentarnego socjaldemokratów. W tym samym roku zastąpił Viktora Klimę na stanowisku przewodniczącego SPÖ, pozostającej przez dwie kadencje w opozycji do rządów Wolfganga Schüssela.
W wyborach parlamentarnych w 2006 SPÖ odniosła nieznaczne zwycięstwo (68 mandatów) nad ÖVP (66 mandatów), stając się główną siłą polityczną w parlamencie. 11 stycznia 2007 Alfred Gusenbauer objął urząd kanclerza, stając na czele koalicyjnego rządu socjaldemokratów i ludowców, reprezentowanych przez nowego lidera – Wilhelma Molterera.
16 czerwca 2008, z powodu spadku notowań SPÖ, Werner Faymann zastąpił go na stanowisku przewodniczącego socjaldemokratów. 7 lipca 2008 Wilhelm Molterer ogłosił wyjście swojej partii z koalicji. Głównym powodem była rozbieżność w sprawie stosunku do ratyfikacji traktatu lizbońskiego. SPÖ, po odrzuceniu go w referendum irlandzkim w czerwcu 2008, domagała się ponownej ratyfikacji traktatu w referendum po wprowadzeniu do niego ewentualnych zmian, natomiast ludowcy wykluczali organizację powszechnego referendum. Także 7 lipca 2008 Alfred Gusenbauer ogłosił, że nie będzie ubiegał się o reelekcję na stanowisko kanclerza;