Po rezygnacji Brandta został kanclerzem 16 maja 1974. Głównym wyzwaniem jego rządu był kryzys naftowy. Schmidt przyjął twardą i konserwatywną linię postępowania. Współdziałał z Valérym Giscardem d’Estaing na rzecz poprawienia stosunków z Francją. W 1975 roku podpisał Akt Końcowy KBWE, tworzący Organizację Bezpieczeństwa i Współpracy w Europie.
Pozostał na stanowisku kanclerza po wyborach w 1976 roku – był to już rząd koalicyjny SPD z Wolną Partią Demokratyczną (FDP). Jego polityka wobec terrorystycznej Frakcji Czerwonej Armii w czasie tzw. „” była bezkompromisowa. Polecił jednostce antyterrorystycznej GSG 9 siłowo rozwiązać kryzys z porwanym samolotem Lufthansy. Swą polityczną przyszłość silnie związał z rozszerzeniem NATO po radzieckiej inwazji na Afganistan. mały|Helmut Schmidt podczas spotkania z Erichem Honeckerem (1981) W listopadzie 1980 roku został ponownie powołany na kanclerza. W październiku 1980 wszczepiono mu rozrusznik serca.