Kłopoty ze zdrowiem i zadłużenie Zebrzydowic zmusiły Hynka do sprzedania wsi w roku 1583.
W następnych wiekach często zmieniali się właściciele miejscowości, a majątek zebrzydowicki podzielono na kilka działów. W wyniku tego wyodrębniły się Zebrzydowice Górne, w których istniał drewniany dwór, niezachowany do dziś oraz Zebrzydowice Dolne, w nich znajduje się pałac wzniesiony w miejscu wcześniejszego zamku.
13 marca 1747 roku hrabia Karol Józef Hoditz von Volfranitz sprzedał zamek Franciszkowi Ludwikowi Mattencloit i jego żonie Marii Agnieszce, uzyskawszy za niego cenę 35.000 florenów. Zamek przebudowany został na otoczony parkiem pałac (rezydencje reprezentacyjną) w stylu barokowym w 1764 r. przez barona Jana Ryszarda von Mattencloit i jego małżonkę Marię Renatę von Beess. Majątek pozostał w rękach baronów de Mattencloit przez 140 lat, a zebrzydowicki dwór stał się ich główną siedzibą przeżywając wówczas czas swej największej świetności. Przy wykorzystaniu starych murów wzniesiono pałac na planie prostokąta w stylu niemieckiego baroku. Po stronie północno-zachodniej pałacu rozciągał się, ukształtowany w formie dwóch tarasów, prawie dwuhektarowy park. Parter budowli oszkarpowano co nawiązywało do jej obronnych początków. Pierwsze piętro oddzielone zostało gzymsem od przysadzistego przyziemia.