Podczas I wojny światowej, większość zbiorów została przeniesiona do Wiednia, a w zamku urządzono szpital polowy. Po wojnie zbiory powróciły do Suchej. W wyniku małżeństwa Anny Branickiej z Juliuszem Tarnowskim biblioteka przeszła w ręce rodu Tarnowskich. W 1932 Juliusz Tarnowski nadał zbiorom oficjalną nazwę "Zbiory Biblioteczne-Muzealne hr. Tarnowskich w Suchej". Biblioteka powiększyła się o 13 tysięcy dzieł z paryskiej kolekcji Władysława Branickiego oraz o bibliotekę Tyszkiewiczów z Czerwonego Dworu.
W 1939 kolekcja grafiki i rysunku została wywieziona do Międzyrzeca Podlaskiego. Podczas II wojny światowej zbiory biblioteczne zostały rozgrabione. Niemcy skonfiskowali i wywieźli z zamku dużą liczbę zabytkowych przedmiotów, rzeźb i obrazów. Wiele dokumentów zostało zniszczonych. Po wojnie pozostałościami ze zbiorów biblioteki Branickich podzieliły się biblioteki i muzea w Warszawie (rękopisy i archiwalia trafiły do Archiwum Głównego Akt Dawnych, rysunki do Muzeum Narodowego w Warszawie), Wrocławiu (do Ossolineum trafiło woluminów), Gdańsku (8 tysięcy woluminów) i Krakowie.