Po zajęciu Belgii przez Niemców Scherer próbował wywalczyć dla siebie stanowisko dyrektora Instytutu, zajmowane przez Bogaerta; po interwencji Hugona Spatza zamiar Scherera nie powiódł się, a Van Bogaert zwolnił współpracownika. Scherer pracował następnie w Gandawie do 1941 roku, po czym na rozkaz Niemców przeniósł się do laboratorium we Wrocławiu, przy Neurologische Forschungsinstitut V. von Weizsäckera. Tam zajmował się badaniami neuropatologicznymi na materiale pochodzącym od ofiar akcji przymusowej eutanazji dzieci, pacjentów szpitala psychiatrycznego w Lublińcu. Innymi neuropatologami zaangażowanymi w tę akcję byli Berthold Ostertag, Hugo Spatz i Julius Hallervorden.
Scherer zginął 14 kwietnia 1945 roku podczas nalotu alianckiego na stację kolejową w Landshut. Jego żona i córka przeżyły.