Od 1421 do 1436 w Żytawie rezydowali kanonicy prascy. W 1469 wraz ze Związkiem Sześciu Miast miasto uznało władzę króla Węgier Macieja Korwina, po którego śmierci w 1490 powróciło do Czech, wówczas we władaniu królewicza polskiego Władysława II JagiellończykaIbid., s. 30.. W 1555, 1559 i 1599 wybuchały epidemie. W 1586 otwarto gimnazjum w Żytawie. Na mocy postanowień pokoju praskiego w 1635 wraz z większą częścią Łużyc przypadła Saksonii. Mimo to po 1635 w mieście wciąż osiedlali się Czesi, już jako imigranci z pobliskiego miasta Gródek nad Nysą, które pozostało w granicach Czech.
mały|lewo|Żytawa w 1757 roku Pomiędzy 1697 a 1763 miasto znajdowało się pod panowaniem królów Polski Augusta II Mocnego i Augusta III Sasa. W czasie wojny siedmioletniej w 1757 wojska austriackie przeprowadziły ostrzał Żytawy, doprowadzając do wielkiego pożaru, po którym nastąpił upadek handlowy miasta. Zniszczone wówczas zostały m.in. kościół św. Jana i ratusz. W 1806 Żytawa została częścią Królestwa Saksonii. W 1813 r. w mieście powstały dwie polskie jednostki wojskowe, tj. 1 i 2 kompania artylerii konnej. Pomiędzy 1840 a 1845 wzniesiono nowy ratusz, a w 1859 otwarto dworzec kolejowy. Do 1869 rozebrano znaczną część obwarowań miejskich.