Od 2011 był wybierany na posła do . 7 marca 2011 został burmistrzem Hamburga. Utrzymał to stanowisko również po wyborach regionalnych w 2015. W lutym 2018, po rezygnacji złożonej przez Martina Schulza, został komisarycznym przewodniczącym SPD. Pełnił tę funkcję do kwietnia 2018, gdy na czele partii stanęła Andrea Nahles.
W marcu 2018 został wicekanclerzem oraz ministrem finansów w czwartym rządzie Angeli Merkel, pełnił te funkcje przez cały okres działania tego gabinetu (do grudnia 2021). W 2019 ubiegał się o przywództwo w SPD (w parze z Klarą Geywitz), przegrywając jednak w drugiej turze partyjnych wyborów.
Kanclerz Niemiec W sierpniu 2020 władze SPD ogłosiły go kandydatem na kanclerza w wyborach do Bundestagu w następnym roku. W wyborach z września 2021 socjaldemokraci uzyskali najwięcej mandatów w Bundestagu, Olaf Scholz został wybrany na posła z Brandenburgii.