Od 1871 miasto znalazło się w granicach zjednoczonych Niemiec.

W 1904 powstała elektrownia miejska i uruchomiono komunikację tramwajową. W 1920 do miasta włączono wieś Porajów, która pozostawała dzielnicą miasta do 1945, gdy została włączona w granice powojennej Polski. W 1932 miał miejsce pożar teatru, w 1936 otwarto nowy teatr. W czasie II wojny światowej w miejscowości znajdowała się filia obozu koncentracyjnego Groß-Rosen. W 1945 w Żytawie zamieszkiwało ok. 4000 Czechów, którzy założyli Czeską Radę Narodową i podjęli starania o włączenie miasta do Czechosłowacji, jednakże ich postulaty zostały definitywnie odrzucone w 1948. W 1945 znalazła się w radzieckiej strefie okupacyjnej Niemiec, z której w 1949 utworzono NRD. Od 1990 w granicach odtworzonego Wolnego Kraju Saksonia oraz Republiki Federalnej Niemiec.

1 maja 2004 w Żytawie miała miejsce uroczystość przyjęcia Polski i Czech do Unii Europejskiej, w której uczestniczyli premier Polski Leszek Miller, premier Czech Vladimír Špidla i kanclerz Niemiec Gerhard Schröder. Od tego czasu obserwuje się wzrost liczby Polaków i Czechów w populacji Żytawy.