Rok później dowodził 8 batalionem medycznym w Züllichau i w tym charakterze został najpierw awansowany na podpułkownika 1 marca 1936 r., a następnie na pułkownika 1 października 1938 r.
Przed rozpoczęciem II wojny światowej Gräser został mianowany dowódcą 29 pułku piechoty, którym miał dowodzić podczas inwazji na Polskę w 1939 roku i w kampanii zachodniej w 1940 roku. Jego pułk brał udział w Operacji Barbarossa, inwazji na Związek Radziecki, od czerwca 1941 roku. Gräser został ciężko ranny 11 lipca 1941 roku. W szpitalu wojskowym trzeba było amputować mu lewą nogę, prawe kolano było strzaskane. Podczas rekonwalescencji i późniejszego przeniesienia do rezerwy Führera, 1 października 1941 roku został generałem dywizji. 1 marca 1943 roku został mianowany dowódcą nowo utworzonej 3 Dywizji Panzergrenadierów i awansowany na generała porucznika. Gräser dowodził jednostką do 31 maja 1944 roku, po czym został przeniesiony do rezerwy Führera i w dniach 12-27 czerwca 1944 roku uczestniczył w kursie dla generałów dowódców w Hirschbergu. 28 czerwca 1944 r. został przydzielony najpierw do dowodzenia XXIV Korpusem Pancernym, a 20 sierpnia 1944 roku powierzono mu dowództwo XLVIII Korpusu Pancernego. Z równoczesnym awansem na .