Z powodu choroby płk Pannwitz nie uczestniczył 22 czerwca 1941 w niemieckim ataku na ZSRR.
W listopadzie roku 1942 Pannwitz, którego od dzieciństwa pasjonowali Kozacy i ich kultura (jego dalekim przodkiem był organizator wojsk kozackich w Rzeczypospolitej, Ślązak Bernard Pretwicz), Pannwitz jeździł często przed I wojną z nadgranicznych śląskich Bodzanowic do pobliskich, „rosyjskich” miast Częstochowy czy Wielunia, by oglądać kozackie manewry i parady, (pułk Kozaków stacjonował jako rosyjska straż graniczna na terenie Kongresówki parę kilometrów od Bodzanowic) uzyskał od szefa Sztabu Generalnego gen. Zeitzlera zezwolenie na utworzenie z kozackich jeńców wojennych i robotników w obozach pracy formacji kawaleryjskiej, która miała walczyć przeciw Armii Czerwonej. Mianowano go równocześnie „komendantem wszystkich formacji kozackich”, co było próżnym tytułem, gdyż nie podporządkowano mu ani Kozaków walczących we właściwej Waffen-SS, ani ludzi wiernych staremu atamanowi Piotrowi Krasnowowi.