Przy dworze powstało również założenie parkowe z oranżerią i oficynami.
Ostatnim właścicielem z rodu Ossolińskich był Wiktor Maksymilian Ossoliński (1790-1860), po którym majątek odziedziczyła córka Wanda (1822-1907), żona Tomasza Potockiego (1809-1861). Tym samym pałac przeszedł w posiadanie rodu Potockich. Majątkiem zarządzał zięć Wandy Potockiej, Konstanty Potocki (1846-1909), mąż jej córki Joanny. Od 1902 r. Joanna i Konstanty Potoccy stali się formalnymi właścicielami majątku. W latach 1913–1914 na ich zlecenie architekt Jan Heurich dokonał przebudowy i rozbudowy dworu, nadając mu wygląd pałacu o cechach neobarokowych. Ze starego XVIII-wiecznego dworu Ossolińskich pozostał jedynie murowany szkielet.
W czasie wojny polsko-bolszewickiej 1920 r. zniszczeniu uległa biblioteka oraz galeria obrazów. W 1927 r. dobra rudzkie przejął po matce Joannie ostatni właściciel majątku Franciszek Salezy Potocki (1877–1949), wieloletni dyrektor Departamentu Wyznań w Ministerstwie Wyznań, Religii i Oświecenia Publicznego. W latach 1936–1939 r. pałac został częściowo rozebrany (oddzielono skrzydła boczne od korpusu). W czasie II wojny światowej pałac został mocno zdewastowany, po czym na wiele lat opustoszał. Po 1945 r. majątek Potockich w Rudce został znacjonalizowany.