W połowie XVII wieku posiadaczem Ożarowa został Krzysztof Grodzicki herbu Łada, a od 1669 r. przeszedł do Tymińskich herbu Nałęcz, po czym do Kuleszów herbu Ślepowron. Około 1740 r. Ożarów kupił Władysław Bartochowski herbu Rola i z tym to właścicielem należy wiązać budowę zachowanego dworu. Starszy poprzedni dwór był w katastrofalnym stanie, o czym można sądzić na podstawie opisu z 1669 roku. Budowa nowego dworu była więc koniecznością. To, iż Władysław Bartochowski, skarbnik sieradzki (1734), łowczy (1735), kasztelan wieluński (1760), wybudował dwór, dokumentuje zachowane rzeźbienie na belce stropu jadalni, które głosi datę budowy dworu – 1757 oraz litery L.R. – pierwsza odpowiadająca imieniu Władysława (łac. Ladislaus), druga – nazwie herbu Rola. Syn Władysława Bartochowskiego, Wojciech, był chlubnym następcą ojca, jego udany związek z Anną z Walewskich pozwolił na wykupienie przylegających dóbr w Skomlinie i Toplinie. Dobra w Ożarowie są we władaniu rodziny Bartochowskich do 1832 r., kiedy to po śmierci Anny z Walewskich Bartochowskiej w 1821 roku dwór przeszedł w posiadanie Kazimierza i Stanisława Bartochowskiego, a następnie w ręce Ignacego Bąkowskiego, siostrzeńca Bartochowskich, który przekazał go synowi Janowi Kazimierzowi Bąkowskiemu.