Na początku wieku XIX Milanówek był własnością Jana Bogusława Wilhelma, dziedzica pobliskich Bieniowic. Wilhelm jednak mieszkał przez ten czas w Bieniowicach wraz z rodziną, Milanówek traktując zapewne jedynie jako lokatę kapitału. Był on też zaangażowany w procesy modernizacji rolnictwa. W jego książce wydanej w 1825 roku przedstawia on szkice budowanych przez siebie w swoich majątkach stodół. Jest to najprawdopodobniej najstarsza zachowana ilustracja budynku stojącego w Milanówku. Po śmierci Wilhelma w 1829 roku jego spadkobiercy zdecydowali się rok później sprzedać majątek. Jego kolejnym właścicielem został Karol Boromeusz Skalski (1777-1841), oficer wojsk polskich. Służył on w wojsku od 1809 roku w armii Księstwa Warszawskiego. Po jego upadku do 1830 roku służył w Wojsku Polskim w kompanii rakietnikówPrzepisy o znaku honorowym, niemniéy lista imienna generałow, officerów wyższych i niższych, oraz urzędnikow woyskowych, tak w służbie będących, jako też dymissyonowanych, znakiem honorowym ozdobionych w roku 1830, s. 37.. Zasłużony w bitwie pod Olszynką Grochowską 29 września 1831 roku podał się do dymisji w stopniu podpułkownika.