Po spadku klubu do II ligi, zawodnik wywalczył sobie miejsce w podstawowym składzie, choć początkowo był rezerwowym. W październiku 2002 wraz z Radosławem Janukiewiczem wyjechał na testy do VfL Wolfsburg, jednak nie został graczem niemieckiego klubu. W czerwcu 2003 zainteresowanie nim wyraził Górnik Zabrze i Żytko pojawił się na pierwszym treningu tego klubu przed sezonem 2003/2004.
Zagłębie Lubin i Polonia Warszawa Ostatecznie Żytko nie został piłkarzem Górnika, lecz podpisał kontrakt z Zagłębiem Lubin. W nowym klubie zadebiutował 2 sierpnia 2003 w meczu pucharu Polski z Jagiellonią Białystok. Następnie regularnie pojawiał się na boisku, a jego drużyna wywalczyła awans do I ligi. W rundzie jesiennej sezonu 2004/2005 Żytce zdarzały się błędy, ale mimo to nabrał pewności siebie oraz często włączał się w akcje ofensywnego swojego zespołu. Również wiosną był podstawowym zawodnikiem, jednakże w kolejnym sezonie utracił miejsce w pierwszej jedenastce i został przez trenera Franciszka Smudę przesunięty do rezerw. W grudniu 2005 zainteresowanie nim wyraził trener ŁKS-Łódź, Wiesław Wojno, zaś Zagłębie chciało go wypożyczyć na rok do GKS-u Bełchatów. Ostatecznie Żytko na zasadzie bezgotówkowego wypożyczenia trafił do stołecznej Polonii.