W 1950 komentował swój pierwszy mecz międzypaństwowy piłkarski.
Mecz Niemcy – Węgry Herbert Zimmermann zyskał popularność dzięki relacjonowaniu meczów mistrzostw świata 1954, a w szczególności finału: Niemcy – Węgry.
Powszechnie znany w Niemczech do dziś jest komentarz do gola strzelonego w 84. minucie przez Helmuta Rahna, dającego prowadzenie Niemcom 3-2: Schäfer nach innen geflankt... Kopfball... Abgewehrt. Aus dem Hintergrund müßte Rahn schießen... Rahn schießt! Tor! Tor! Tor! Tor! Tor für Deutschland! Drei zu zwei führt Deutschland. Halten Sie mich für verrückt, halten Sie mich für übergeschnappt! (Schäfer otoczony w środku… Główka… Czysto. Rahn powinien strzelać… Rahn strzela! Gol! Gol! Gol! Gol! Gol dla Niemców! Niemcy prowadzą 3-2. Jestem szalony! Jestem szczęśliwy!).
Zasłynął też innym komentarzem, gdy w 24. minucie niemiecki bramkarz Toni Turek odbił “strzał nie do obrony” węgierskiej gwiazdy, Zoltana Czibora. Wtedy Zimmermann krzyknął do mikrofonu: Toni du bist ein Teufelskerl, Toni du bist ein Fußballgott (Toni, jesteś demonem!