Na stopień majora został mianowany ze starszeństwem z 1 sierpnia 1916.

W okresie międzywojennym służył w armii Królestwa Rumunii, dochodząc do stopnia generała lejtnanta i dowódcy oddziałów górskich.

W 1941 zdecydował się wstąpić do armii niemieckiej. Dołączył do 5 Dywizji Grenadierów Pancernych SS „Wiking”. Szybko piął się po szczeblach kariery wojskowej, po pewnym czasie objął dowodzenie nad pułkiem Westland. W 1942 Heinrich Himmler zlecił mu tworzenie nowej jednostki Waffen-SS z volksdeutschów mieszkających w krajach bałkańskich. Nowa jednostka Phlepsa, której nadano nazwę 7 Ochotniczej Dywizji Górskiej SS „Prinz Eugen”, została użyta na Bałkanach w działaniach przeciwpartyzanckich. Początkowo była to formacja czysto ochotnicza, ale z powodu strat zarządzono do niej pobór. Podczas walk z oddziałami Tity dywizja dopuściła się wielu zbrodni na cywilach.