W sierpniu 1998 zrezygnował z zajmowanych stanowisk, by objąć funkcję sekretarza stanu ds. sprawiedliwości w drugim gabinecie rządzie Wima Koka. Odpowiadał w nim za sprawy imigracji. Urząd zajmował do 1 stycznia 2001.
15 stycznia 2001 został powołany (przez rząd w imieniu monarchy) na burmistrza Amsterdamu. W kwietniu 2001, po wejściu w życie stosownego prawa, został pierwszym urzędnikiem publicznym, który udzielił ślubu parze homoseksualnej. W listopadzie 2004, po zabójstwie reżysera Theo van Gogha przez islamskiego radykała, przewodził społecznym protestom w Amsterdamie, wzywając mieszkańców do tolerancji i jedności. W 2005 za swoje działanie otrzymał od tygodnika „Time” tytuł „European Heroe”. W czasie wyborów parlamentarnych w styczniu 2003 był kandydatem PvdA na stanowisko premiera, jednak zwycięstwo odniósł wówczas Apel Chrześcijańsko-Demokratyczny. Jako burmistrz podejmował działania mające na celu ograniczenie liczby agencji towarzyskich i coffee shops w mieście.