SPD podjęła rozmowy koalicyjne z Zielonymi i Wolną Partią Demokratyczną celem utworzenia tzw. koalicji sygnalizacji świetlnej i powołania rządu z Olafem Scholzem na czele. Szczegóły zawartego porozumienia upubliczniono 24 listopada 2021, a umowa koalicyjna została ostatecznie podpisana 7 grudnia 2021. 8 grudnia 2021 Bundestag zatwierdził powołanie Olafa Scholza na urząd kanclerza; za głosowało 395 członków tej izby, przeciw 303, a 6 wstrzymało się od głosu. Tego samego dnia dokonano zaprzysiężenia członków nowego rządu, który w konsekwencji rozpoczął urzędowanie.

27 lutego 2022, w reakcji na inwazję Rosji na Ukrainę, wygłosił przed Bundestagiem przemowę, tzw. Zeitenwende-Rede. Oprócz stanowczego potępienia rosyjskich działań na Ukrainie zasygnalizował w niej istotną zmianę w niemieckim myśleniu o polityce międzynarodowej oraz zadeklarował idące za tym działania.

W listopadzie 2024 liberałowie opuścili koalicję rządową. 16 grudnia tego samego roku Bundestag nie udzielił kanclerzowi wotum zaufania. Skutkowało to rozpisaniem na luty 2025 przedterminowych wyborów parlamentarnych, w których ponownie był kandydatem SPD na kanclerza. W wyborach tych jego formacja zajęła trzecie miejsce za chadecją i AfD;