Krytykował polityków, którzy przeszli z AWS do PO, jednak po paru miesiącach również zdecydował się na akces do PO.

W wyborach w 2001 uzyskał mandat posła IV kadencji, zdobywając 20 251 głosów w okręgu krakowskim. W 2002 kandydował na prezydenta Krakowa; zajął 3. miejsce w 1. turze, zdobywając 36 128 głosów (18,06%) i przegrywając z popieranym przez Sojusz Lewicy Demokratycznej i Polskie Stronnictwo Ludowe Jackiem Majchrowskim oraz z byłym prezydentem Józefem Lassotą z UW. Po odejściu z PO Macieja Płażyńskiego stał się faktycznym liderem konserwatywnego skrzydła w partii. Od października 2001 do czerwca 2003 i ponownie od listopada 2005 do czerwca 2006 piastował funkcję wiceprzewodniczącego PO. Od czerwca 2003 do listopada 2005 był przewodniczącym jej klubu poselskiego. W Sejmie IV kadencji ponownie pracował w Komisji Administracji i Spraw Wewnętrznych.

Pewną popularność zapewniła Janowi Rokicie praca w komisji śledczej badającej tzw. aferę Rywina. Była to pierwsza komisja śledcza, której obrady transmitowano na żywo. Nastąpił wówczas wzrost popularności Jana Rokity, co zbiegło się ze wzrostem notowań PO.