W zamku w okresie I wojny światowej mieścił się niemiecki sztab wojskowy. W tym okresie jakiś czas przebywał w dworze jako żołnierz Arnold Zweig. Ostatnim prywatnym właścicielem majątku Czerwony Dwór był Benedykt Jan Tyszkiewicz (1875-1948), żonaty z Różą Branicką.
Kolekcja Tyszkiewiczów Kolekcja Tyszkiewiczów z Czerwonego Dworu zawierał jedno z najbogatszych archiwów rodzinnych na terenie dawnej Rzeczypospolitej Obojga Narodów. Liczyło ono 20 tys. dokumentów, 12 tys. listów, przeszło 10 tys. tomów książek. Do tego na kolekcję w pałacu w Czerwony Dworze składała się bogata galeria obrazów malarzy polskich i obcych: Bernardino Luini św. Magdalena, Bartłomiej di Pietro Madonna, Andrea del Sarto Madonna, Correggia Madonna i św. Katarzyna, Leonardo da Vinci Madonna z Dzieciątkiem i Jagnięciem, Annibale Carracci Śpiącą nimfa i satyr, Ludovico Caracci św. Rodzina, Guercino Diana, Albani Porwanie Europy, Rubens Porwanie Danajów, Canaletto, Bacciarelli, Czechowicz, Wańkowicz, Rustem, Heinrich Hollpein, Ksawery Kaniewski, Marcin Zaleski Wnętrze kaplicy św. Kazimierza w Wilnie, Albert Żamett, rzeźby Luigi Pampaloniego, Luigi Bienaimégo, Tomasz Oskara Sosnowskiego, zbiór 30 pasów słuckich (zniszczony w Powstaniu Warszawskim), gobelinów i makat.