Prywatnie był kolekcjonerem antyków, a jego zbiory były wystawiane w muzeum we Lwowie.
W 1925 ożenił się z młodszą o niespełna 25 lat, ówczesną studentką Hanną Krassowską (córka inżyniera Józefa Krassowskiego). Mieli synów Mariana (1928–1973) i Władysława (ur. 1930). Podczas II wojny światowej został aresztowany przez sowietów 9 kwietnia 1940 i zesłany w głąb Związku Sowieckiego. Zmarł 20 grudnia 1941 w jednym z sowieckich więzień w Artiomowsku (relacja śmierci pułkownika została opisana w książce Józefa Czapskiego pt. Na nieludzkiej ziemi).
Żona i synowie pułkownika 14 kwietnia 1940 zostali zesłani do łagrów na ziemi kazachskiej, później odzyskali wolność i po wojnie osiedli w Wielkiej Brytanii. Hanna Miłkowska pracowała jako pielęgniarka, w 1946 wyszła ponownie za mąż – za angielskiego oficera, kpt. Anthony'ego Prestona. Władysław Miłkowski ożenił się z córką ppłk. dypl. Czesława Konwerskiego.
Ordery i odznaczenia Krzyż Walecznych (przed 1923) Medal Pamiątkowy za Wojnę 1918–1921 Medal Dziesięciolecia Odzyskanej Niepodległości Krzyż Legionowy