Jego mandat poselski, z którego zrezygnował, by kandydować na burmistrza, przejął Kwon Yeong-se z GNP.

17 października 2002 roku Kim ogłosił odejście z MDP i dołączenie do Rady na rzecz Jedności Kandydata – inicjatywy, której członkowie wycofali poparcie dla kandydata MDP Roh Moo-hyuna, a poparli Chung Mong-joona z Narodowej Jedności 21. Decyzja Kima spotkała się z ostrą krytyką ze strony opinii publicznej, a także kolegów z partii, m.in. Im Jong-seoka. Zyskał przydomek „ptaka wędrownego” (철새), określający polityków często zmieniających barwy partyjne z oportunistycznych powodów. W późniejszych wywiadach Kim przyznał, że żałuje tej decyzji.

Upadek kariery politycznej Po tych wydarzeniach kariera polityczna Kima zaczęła podupadać. W wyborach parlamentarnych w 2004 roku próbował wrócić do parlamentu jako kandydat w okręgu Yeongdeungpo 1, lecz w kontekście niepopularnego impeachmentu prezydenta Roh Moo-hyuna poparcie dla MDP gwałtownie spadło. Kim zajął dopiero trzecie miejsce, przegrywając z Goh Jin-hwą i Kim Myung-seopem.