W latach 1073–1075 brał udział w wojnie domowej w Niemczech skierowanej przeciwko powstaniu Sasów. Po klątwie papieskiej rzuconej na Henryka IV wypowiedział posłuszeństwo królowi i uczestniczył w sejmie w Tryburze, na którym możni niemieccy zażądali od cesarza ustąpienia z tronu. Podejmował wysiłki celem zapobiegnięcia spotkaniu Henryka IV z Grzegorzem VII w Canossie. W czerwcu 1075 roku poprowadził wojska królewskie na bitwę pod Homburgiem. 15 marca 1077 roku pod nieobecność Henryka IV w Niemczech został wybrany przez opozycję antycesarską królem. Spowodowało to wieloletnią wojnę domową w Rzeszy.
thumb|left|210x210px|Zmumifikowana prawica Rudolfa Szwabskiego w zbiorach katedry w Merseburgu
Podczas Hoftagu w Ulmie w maju 1077 roku, Henryk IV uznał Rudolfa Szwabskiego za banitę, wyzuł go ze wszystkich lenn i godności, oraz zapowiedział karę śmierci dla wszystkich jego popleczników. W odpowiedzi na te działania cesarza, Rudolf uciekł do Saksonii, gdzie przebywał do końca życia i skąd prowadził działania wojenne. Dzięki sojuszowi z Sasami udało mu się utrzymać władzę i stworzyć własne państwo popierane przez Sasów i Szwabów.