Po wojnie jako żołnierz austriackiej Bundesheer kontynuował karierę wojskową, oprócz tego studiując prawo w Wiedniu, gdzie uzyskał doktorat. W 1935 r. został generałem majorem, zatrudnionym w Ministerstwie Wojsk na stanowisku oficera sztabu generalnego przy Inspektoracie Armijnym. Pracował jako szkoleniowiec sztabowy i dowódca piechoty zmotoryzowanej. Od roku 1936 sprawował również dowództwo nad Dywizją Szybką. Po Anschlussie (1938) został oficerem Wehrmachtu i dowódcą 4 Dywizji Lekkiej.
Alfred von Hubicki brał udział w prawie wszystkich kampaniach II wojny światowej w Europie. Podczas kampanii wrześniowej dowodził oddziałami niemieckimi w bitwie pod Kamionką Strumiłową. Inne kampanie: we Francji, na Bałkanach oraz miał swój udział w wojnie z ZSRR. Od 3 stycznia 1940 r. był dowódcą 9. Dywizji Pancernej. Za zasługi odniesione przez dowodzoną przez niego dywizję na Bałkanach, został odznaczony Krzyżem Rycerskim Krzyża Żelaznego. 15 kwietnia 1942 r. oddał dowództwo nad 9. DPanc. Johannesowi Bässlerowi i objął LXXXIX. Korpus Armijny. W tym czasie został generałem wojsk pancernych, przydzielonym do Auffrischungsstab Mitte, oraz szefem niemieckiej misji wojskowej na Słowacji. 1 października 1944 r. został przeniesiony do rezerwy oficerskiej.