Kariera wojskowa 1 sierpnia 1916 Rudolf wstąpił do zapasowego szwadronu 21 Pułku Dragonów Badeńskich, w którym wcześniej służyli jego ojciec i dziadek. Po przeszkoleniu został wysłany do Turcji na front iracki, gdzie przydzielono go do samodzielnego oddziału kawalerii „Pasza II” Korpusu Azjatyckiego. Walczył w Turcji, Mezopotamii i Palestynie i był wielokrotnie ranny. Dosłużył się stopnia feldfebla. Został odznaczony Krzyżem Żelaznym II klasy (17.02.1917), Żelaznym Półksiężycem (6.10.1917), Medalem Zasługi Wojskowej (19.12.1917) i Krzyżem Żelaznym I klasy (16.05.1918).
W 1917, gdy Rudolf Höß brał udział w walkach pierwszej wojny światowej, zmarła jego matka. Po powrocie z wojny napotkał naciski ze strony rodziny, aby spełniał wolę ojca co do planowanego stanu kapłańskiego; kiedy okazało się, że dom rodzinny został zlikwidowany, Rudolf odciął się od krewnych i uznał, że kwestia wyboru zawodu została zamknięta. Znów został żołnierzem.
1 lutego 1919 wstąpił w Królewcu do organizowanego nacjonalistycznego Wschodniopruskiego Korpusu Ochotniczego dowodzonego przez porucznika Gerharda Roßbacha (Freikorps Roßbach).