Po ataku wojsk niemieckich na Związek Radziecki 22 czerwca 1941 r., stanął na czele wydziału ds. Kaukazu i Turkiestanu w Ministerstwie Rzeszy ds. Okupowanych Terytoriów Wschodnich. Nadal prowadził też działalność naukową na berlińskim uniwersytecie. Z ramienia władz hitlerowskich zajmował się organizowaniem spośród jeńców wojennych – czerwonoarmistów pochodzenia tatarskiego, turkiestańskiego i kaukaskiego kolaboracyjnych oddziałów wojskowych w służbie niemieckiej, zwanych Legionami Wschodnimi. Opowiadał się za utworzeniem na gruzach ZSRR państw tych narodów pod protektoratem III Rzeszy. Sprawował rolę „protektora” komitetów narodowych. Był wykładowcą na Reichsuniversität Posen. Pod koniec wojny zabiegał o przeniesienie jak największej liczby „wschodnich” ochotników na zachód, aby uniknąć schwytania ich przez Sowietów. Po klęsce Niemiec 4/5 maja 1945 r., nawiązał współpracę z brytyjskim wywiadem. Utworzył w Düsseldorfie organizację pod nazwą Służba Poszukiwawcza Europy Wschodniej, w której zatrudnił wielu b. nazistów specjalizujących się w propagandzie antykomunistycznej, a także emigrantów z ZSRR, wspierając ich dążenia narodowowyzwoleńcze. Organizacja była opłacana przez zachodnie wywiady, a następnie władze Niemiec Zachodnich. W latach 50. G. von Mende podjął bliską współpracę z CIA.