W styczniu 2002 Kowalczuk przeszedł do ukraińskiego klubu Karpaty Lwów. W Karpatach Covalciuc występował w pierwszym składzie będąc liderem drugiej linii, a największym sukcesem było zajęcie 7. miejsca w sezonie 2002/2003, a w sezonie 2003/2004 lwowski klub opuścił szeregi ukraińskiej ekstraklasy. W 2003 roku po raz drugi w karierze otrzymał wyróżnienie dla najlepszego mołdawskiego piłkarza. Został wybrany do symbolicznej jedenastki Karpat w historii Mistrzostw Ukrainy.
Latem 2004 po Kowalczuka zgłosiły się Dynamo Kijów i Spartak Moskwa, a zawodnik ostatecznie odpisał kontrakt z tym drugim zespołem. W Spartaku dość szybko wskoczył do pierwszego składu. W 2005 roku wywalczył wicemistrzostwo Rosji, dzięki czemu wystąpił w grupowych rozgrywkach Ligi Mistrzów w 2006 roku. Wtedy też po raz trzeci został uznany najlepszym piłkarzem w ojczyźnie. Wicemistrzostwo ze Spartakiem wywalczył także w 2006 roku. W 2009 roku został wolnym zawodnikiem. Na sezon 2010 przeniósł się do Tomu Tomsk, a w 2011 roku został zawodnikiem Żemczużyny Soczi. Po rozwiązaniu klubu 29 sierpnia 2011 podpisał kontrakt z ukraińskim Czornomorcem OdessaUA-Футбол. Сергей Ковальчук стал "моряком". Po zakończeniu sezonu 2011/12 opuścił odeski klubUA-Футбол.