Benedykt Henryk Tyszkiewicz zasłynął również jako nabywca obrazu Stefan Batory pod Pskowem Jana Matejki za 60 000 franków, który zdobił jedną z sal na piętrze w Czerwonym Dworze. Kolekcję tę wywieziono na wschód przed 1915 r., a część do Suchej Beskidzkiej. Zamek po I wojnie światowej Po 1920 roku Czerwony Dwór znalazł się na terytorium Litwy kowieńskiej. Następnie rząd litewski odebrał zamek Tyszkiewiczom, a majątek rozparcelował. Tyszkiewiczom zostawiono tylko 40 ha, ale wkrótce i to im odebrano. W znacjonalizowanym pałacu w latach 1927–1943 działał sierociniec i szkoła podstawowa. W 1940 roku dawny majątek znalazł się w ZSRR, a w 1941 roku pod okupacją niemiecką.
W 1943 roku zamek zajął niemiecki oddział SS Sonderkommande "Pflaum", którym dowodził Guntram Pflaum. Przed zajęciem tych terenów przez Armię Czerwoną w 1944 roku, Niemcy spalili pałac i oranżerię.
Zamek po 1945 roku Po 1945 roku teren zajęła Stacja Maszynowo-Traktorowa. W 1952 roku rozpoczęto rozbiórkę ruin, którą przerwano, a w 1959 roku zlecono badania ruin.