W 1662 roku od Bogusława Radziwiłła miejscowe dobra za 30 tys. florenów kupił Jan Karol Worłowski herbu Chorągwie Kmitów, skarbnik kowieński. W rodzinie Worłowskich majątek pozostawał prawie 100 lat, a następnie przed 1761 rokiem kupił go marszałek kowieński Antoni Zabiełło herbu Topór. On to w 1671 roku podejmował na zamku Karola ks. Kurlandzkiego.
Rezydencja Tyszkiewczów (1819-1920) W roku 1819 dwór kupił napoleoński pułkownik Michał Tyszkiewicz, który go wyremontował oraz wybudował dodatkowe budynki, w tym stodoły i stajnie oraz urządził park. W rękach Tyszkiewiczów majątek pozostawał do końca I wojny światowej. W trakcie Powstania listopadowego pałac spłonął w pożarze w 1831 roku. Podczas odbudowy zbudowano w latach 1837–1839 oranżerię. Kolejnej przebudowy dokonano po 1855 roku, gdy Benedykt Tyszkiewicz przebudował stary zameczek na rezydencję o cechach neogotyckich i neorenesansowych. Wtedy też przypuszczalnie odbito tynki, uwydatniając czerwony kolor elewacji, a wieżę zwieńczono neogotyckim krenelażem mającym imitować średniowieczną formę obiektu. Dodano też facjaty nad dłuższymi elewacjami. W drugiej połowie XIX wieki dobra Czerwony Dwór obejmowały powierzchnię 13 tys. dziesięcin ziem i lasów (pond 14 tys. hektarów).