4 Dolnoaustriackim Pułku Piechoty Wielkiego Mistrza Zakonu Krzyżackiego w Wiedniu. Po zakończeniu służby został mianowany aspirantem oficerskim (niem. Fähnrich). Rydz przykładał się do służby w austriackim wojsku, ponieważ uważał, że wiedza zdobyta w tym okresie może zostać wykorzystana podczas przyszłej walki o niepodległość Polski.
Podczas działalności w ZWC posługiwał się pseudonimem „Śmigły”. W 1912 ukończył niższy, a następnie wyższy kurs oficerski Związku Strzeleckiego „Strzelec”. Był pierwszym komendantem Oddziału Związku Strzeleckiego w Brzeżanach, a później komendantem kursu strzeleckiego w Krakowie (lata 1912–1913). W 1913 wrócił do przerwanych studiów na ASP (pod kierunkiem prof. Józefa Pankiewicza), które kończył rok później. W 1913 został mianowany komendantem Okręgu Związku Strzeleckiego we Lwowie. Był także redaktorem odpowiedzialnym miesięcznika „Strzelec” (swe artykuły podpisywał pseudonimem „Śmigły”). W tym czasie Rydz był już osobą wysoko cenioną przez Józefa Piłsudskiego.