XX wieku znalazł się w tarapatach finansowych i zaczął wyprzedawać swoje zbiory.
8 czerwca 1926 roku usynowił Stanisława Feliksa Lipkowskiego (1901–1986), wnuka swojej siostry Marii, którego uczynił spadkobiercą. Zmarł w szpitalu w Puli 16 października 1926 roku, został pogrzebany na cmentarzu w Rovigno d’IstriaAndrzej Szwarc, Paweł Wieczorkiewicz, Bracia Korwin Milewscy – patrioci czy apostaci?, [w:] Francja – Polska XVIII–XIX w. Studia z dziejów kultury i polityki poświęcone Profesorowi Andrzejowi Zahorskiemu w sześćdziesiątą rocznicę urodzin, Warszawa 1983. ., a jego serce pochowano w grobowcu matki, Weroniki z Wołk-Łaniewskich, na cmentarzu na Rossie w Wilnie. Po śmierci Milewskiego kolekcja jego obrazów uległa rozproszeniu.
Rodzina Wywodził się z Milewskich herbu Korwin, rodziny właścicieli ziemskich. Syn Oskara Korwin-Milewskiego, przedstawiciela konserwatywnego obozu krytykującego nadmierną centralizację Imperium RosyjskiegoDariusz Szpoper, Sukcesorzy Wielkiego Księstwa. Myśl polityczna i działalność konserwatystów polskich na ziemiach litewsko-białoruskich w latach 1904–1939, Gdańsk 1999. ., oraz Weroniki Wołk-Łaniewskiej. Rodzice Ignacego Karola posiadali jeszcze trójkę dzieci: Marię, Oskara oraz Hipolita.