W 1937 przeniesiony do oddziału operacyjnego sztabu generalnego wojsk lądowych, a w 1938 awansowany na podpułkownika.
II wojna światowa W czasie II wojny światowej, w październiku 1940 w stopniu pułkownika, otrzymał nominację na szefa oddziału operacyjnego Naczelnego Dowództwa Wojsk Lądowych. W okresie kampanii na wschodzie Heusinger wraz ze swoim zwierzchnikiem gen. Franzem Halderem brał udział w sporach z Adolfem Hitlerem dotyczących strategii dalszych działań. W 1941 Heusinger otrzymał awans na stopień Generalmajora, dwa lata później na Generalleutnanta. Po tym jak w czerwcu 1944, po jednym ze sporów z Hitlerem, dotychczasowy szef sztabu generalnego wojsk lądowych gen. Kurt Zeitzler doznał udaru mózgu, pełnienie jego obowiązków powierzono Heusingerowi. Do jego obowiązków należał m.in. udział w naradach sytuacyjnych u Hitlera, a w szczególności referowanie „wodzowi” położenia wojsk niemieckich na froncie. Pełnił również funkcje doradcze.
Zamach na Hitlera 20 lipca 1944