thumb|Adolf Hitler z wizytą u Carla Mannerheima na froncie z okazji 75. urodzin marszałka (1942) Był naczelnym dowódcą armii fińskiej w czasie wojny zimowej (1939–1940) i wojny kontynuacyjnej (1941–1944). Pomimo olbrzymiej przewagi sowieckiej i niegotowości kraju do wojny, Finom udało się wówczas zadać atakującym znaczne straty i zachować niezależność kraju za cenę znacznych ustępstw terytorialnych.
Mimo nieprzyjaznej neutralności III Rzeszy w czasie wojny zimowej, Finlandia podjęła potem współpracę z Rzeszą, a w 1941 po niemieckim ataku na ZSRR została zaatakowana przez Związek Radziecki. Mannerheim wystrzegał się jednak formalnego sojuszu. Starał się unikać zbytniego zaangażowania po stronie Osi, odmówił m.in. wydania fińskich Żydów, uczestnictwa wojsk fińskich w oblężeniu Leningradu i zaatakowania kolei murmańskiej, wycofał ochotników fińskich z formacji SS oraz mimo stanu wojny utrzymywał kontakt z Churchillem i Rooseveltem.
Po ustąpieniu prezydenta Risto Rytiego Mannerheim 4 sierpnia 1944 r. został wybrany na prezydenta Finlandii, 19 września podpisał zawieszenie broni z ZSRR i zgodnie z jego warunkami skierował wojska fińskie przeciw Niemcom. 31 grudnia 1944 zrzekł się dowództwa nad armią. Ze względów zdrowotnych ustąpił z urzędu prezydenta 9 marca 1946 r.