Swift uczęszczał do United States Army Command and General Staff College, który ukończył w 1923 roku i pozostał na tej uczelni jako wykładowca do 1929 roku. Następnie uczęszczał do United States Army War College i Army Industrial College. W 1940 roku awansował na generała brygady, a w 1941 roku na generała majora i objął dowództwo nad 1 Dywizją Kawalerii i Fort Bliss. Brał udział w ćwiczeniach wojskowych w Luizjanie, gdzie wymyślił przydomek używany przez lekkie samoloty obserwacyjne armii, gdy po nierównym lądowaniu powiedział pilotowi: „Wyglądałeś jak cholerny konik polny!”. [Uwaga redaktora: Istnieje wiele wersji tej historii i nie ma pewności, co dokładnie powiedział Swift. Cytowany autor (Graff) parafrazował].
W czasie II wojny światowej Swift przekształcił dywizję kawalerii w dywizję piechoty, choć zachowała w nazwie słowo „kawaleria”. W lipcu 1942 roku poprowadził swoją dywizję do Australii i pozostał na jej czele podczas walk o Wyspy Admiralicji, po czym w sierpniu 1944 roku został przeniesiony na stanowisko dowódcy I Korpusu. Dowodził nim podczas wyzwalania Luzonu na Filipinach pod koniec 1944 roku i w 1945 roku. Był najstarszym dowódcą amerykańskiego Korpusu, który służył w II wojnie światowej. Po wojnie pozostał bliskim przyjacielem generała Douglasa MacArthura.