Na samym początku wojny Ferguson zorganizował bandę i zaczął napadać na cywilów, o których sądził, że sprzyjają Unii. Od czasu do czasu jego „oddział partyzancki” współdziałał z regularnymi oddziałami wojsk konfederackich dowodzonymi przez generałów Johna H. Morgana i Josepha Wheelera. Pewne przesłanki wskazują na to, że Ferguson został przez Morgana mianowany „kapitanem partyzantów”. Jednakże ludzie Fergusona nie przestrzegali dyscypliny wojskowej i łamali prawa wojenne.
Krążyły legendy o rzekomym sadyzmie Fergusona; opowiadano jak obcinał więźniom głowy, które następnie staczał ze szczytów wzgórz i jak lubował się w mordowaniu starców i przykutych chorobą do łóżek. Pewnego razu został aresztowany przez władze konfederackie za zamordowanie przedstawiciela rządu i spędził dwa miesiące pod kluczem w Wytheville w Wirginii, ale ostatecznie zwolniono go.