13 września 1796 Scherb wycofał swój oddział do Kehl, zatrzymał się tam, po czym odparł atak Austriaków z 18 września 1796. W dniu 26 września 1796, z powodu oskarżenia o tchórzostwo, wniesionego przez komisarza rządowego Haussmanna, Scherb został pozbawiony funkcji dowódcy. Oddano go do dyspozycji ministra wojny, który w dniu 21 października 1797 przeniósł go do armii marszałka Augereau, działającej w Niemczech. 24 października 1797 Scherb został głównodowodzącym garnizonu w Neuf-Brisach. W dniu 19 lipca 1803 przeszedł w stan spoczynku. Jednak wkrótce potem wrócił do służby wojskowej. W dniu 9 października 1803 został mianowany (przez generała Joachima Murata) głównodowodzącym sił w regionie Dolnego Padu oraz Ferrary we Włoszech. Później był dowódcą sił zbrojnych kolejno w: Legnano (od 4 lutego 1805), w Weronie (od 22 września 1805), w Monfalcone (od 17 marca 1806) oraz w dalmackim Zadarze (od 12 maja 1806).
W dniu 10 kwietnia 1791 Scherb został odznaczony tytułem kawalera orderu św. Ludwika.