Po wybuchu II wojny światowej, we wrześniu 1939, został Komisarzem Rzeszy do spraw Obrony i zarządzał Dystryktem Obronnym VI. 24 kwietnia 1940, po inwazji III Rzeszy na Norwegię, Terboven powołany został przez Hitlera na stanowisko Komisarza Rzeszy w tym okupowanym państwie (jednocześnie awansował na SA-Obergruppenführera). Funkcję tę sprawował do końca wojny. Jego zadaniem było wprowadzenie w Norwegii rządów autorytarnych. Terboven wprowadził się do rezydencji norweskiego następcy tronu w Skaugum, a z budynków norweskiego parlamentu uczynił swoją kwaterę generalną. W okresie swoich rządów stał się postacią znienawidzoną przez wielu Norwegów.
Teoretycznie miał współdziałać z kolaboracyjnym rządem Vidkuna Quislinga, ale faktycznie rządził okupowanym krajem samodzielnie, jako bezwzględny dyktator. Nie podlegała mu wprawdzie niemiecka armia w Norwegii, ale siły, które miał pod sobą liczyły ok. 6000 ludzi (w tym 800 członków Gestapo). Rządy Terbovena, okrutne i bezlitosne, spotykały się z gorącym poparciem Hitlera. Szczególnie mocno była prześladowana niewielka, bo licząca tylko ok. 1800 osób, populacja żydowska w Norwegii. Około 930 z nich zdołało uciec do neutralnej Szwecji, ale blisko 770 zostało złapanych i deportowanych do Niemiec.