Nebe zgłosił się na ochotnika do udziału w kampanii przeciw ZSRR w charakterze dowódcy Einsatzgruppe B. Działała ona na froncie centralnym, przeprowadzając masowe rozstrzelania Żydów, Cyganów i innej ludności cywilnej oraz likwidując komisarzy bolszewickich. Od sierpnia do października 1941 jego oddziały wymordowały ok. 45 tysięcy ludzi. We wrześniu 1941 testował wraz z Widmannem nowe środki masowej zagłady (zwłaszcza materiały wybuchowe), by zastąpić nimi masowe rozstrzelania. Ostatecznie naziści zaczęli stosować specjalne samochody-komory gazowe.
Od 1942 r. prezydent Interpolu (po śmierci Reinharda Heydricha w wyniku zamachu w Pradze).
Nebe należał także do opozycji antyhitlerowskiej w Niemczech. Współpracował z takimi opozycjonistami jak Ludwig Beck, Hans Oster i Hans Gisevius. Jest prawdopodobne, iż uczestniczył w spisku na życie Adolfa Hitlera 20 lipca 1944, choć następnie kierował aresztowaniami ludzi związanych z zamachem. Jednak już w trzy dni później (23 lipca) ukrył się koło Wannsee. Został wydalony z NSDAP i SS, a 16 stycznia 1945 aresztowało go gestapo. Trybunał Ludowy skazał Nebego za zdradę na karę śmierci.