W wojsku mały|260px|Tito w 1913 roku Jesienią 1912 powołano go do armii Austro-Węgier. Początkowo został skierowany do pułku cesarsko-królewskiego w Wiedniu, gdzie rozpoczął służbę w artylerii technicznej. Został skierowany do zagrzebskiego 25. domobrańskiego pułku. Pod koniec roku dostał się do szkoły podoficerskiej. Kapitan docenił jego talent szermierczy i zapewnił mu udział w wojskowych zawodach szermierczych w Budapeszcie w maju 1914, gdzie Broz zdobył drugie miejsce; umiejętności tych nauczył się w czasie działalności w Organizacji „Sokół”. Dyplom i srebrny medal wręczył mu arcyksiążę Józef.
Po wybuchu I wojny światowej jako żołnierz 25 pułku 42 Dywizji Domobranów (Honwedu, oficjalnie Diabelska Dywizja), wziął udział w dwóch austro-węgierskich ofensywach podczas inwazji Serbii, ogłoszonej ekspedycją karną. Uczestniczył we wszystkich najważniejszych bitwach tej kampanii w zachodniej Serbii, w tym w bitwach na górze Cer i nad Kolubarą. Jego dywizja odegrała także bardzo ważną rolę w oblężeniu Belgradu. Miała udział w zbrodniach wojennych. W kampanii na froncie bałkańskim młody Broz wykazał się dużym zaangażowaniem, bowiem w ciągu kilku zaledwie miesięcy awansował do stopnia starszego sierżanta.