Pałac wielokrotnie zmieniał właścicieli i użytkowników. Pałac nabył w XVIII w. Józef Pułaski (1704-1769), ojciec Kazimierza Pułaskiego, starosta warecki, adwokat, polityk i pierwszy marszałek wojsk konfederackich. Kolejno pałac przechodził na własność rodzin Walewskich, Brochowskich, Zaborowskich, Jordanów, Kurtzów, Prozorów oraz księcia Włodzimierza Czetwertyńskiego. W roku 1882 właścicielem majątku Winiary wraz ze Starą Warką został prezes Towarzystwa Kredytowego Ziemskiego Andrzej Szczuka, następnie jego syn Józef Szczuka, który przekazał go bratu Andrzejowi Szczuce. Następnym właścicielem został Wojciech Hilary Rostworowski, który w 1921 roku sprzedał go hrabiemu Wacławowi Godziemba Dąmbskiemu. W okresie międzywojennym dwór odwiedzali wybitni politycy i artyści.
Na podstawie dekretu o reformie rolnej, dwór wraz z parkiem przeszedł w 1946 na własność Skarbu Państwa. W pałacu powstało Samorządowe Gimnazjum Ogólnokształcące wraz z internatem, a następnie Liceum Ogólnokształcące. W latach pięćdziesiątych staraniem PTTK powstało tu muzeum regionalne. Na mocy uchwały Rady Ministrów z 18 stycznia 1961 w pałacu przeprowadzono w latach 1962–1966 generalny remont. Budynek przeznaczono w całości na muzeum. W styczniu 1967 zostało otwarte historyczno-biograficzne Muzeum im. Kazimierza Pułaskiego.