Mimo zarzutów, że na miejskich kontraktach skorzystały firmy należące do jego partyjnych kolegów, Erdoğan zachował opinię jednego z najmniej skorumpowanych polityków tureckich. Jednocześnie Erdoğan zrezygnował z realizacji pomysłów niezgodnych ze świeckim charakterem państwa tureckiego (m.in. ponownego przekształcenia Hagia Sophia w meczet).
12 grudnia 1997 na wiecu w prowincji Siirt wygłosił przemówienie, w którym zacytował fragment poematu Ziyi Gokalpa:
Przemówienie zostało uznane za podżeganie do nienawiści na tle religijnym. W 1998 Erdoğan został usunięty z funkcji burmistrza Stambułu i skazany na dziesięć miesięcy pozbawienia wolności. Po kolejnych apelacjach wyrok został utrzymany w mocy, jednak Erdoğan nie odbył całej kary. Latem 2001 wyszedł na wolność po czterech miesiącach więzienia na mocy amnestii.
14 sierpnia 2001 wraz z grupą działaczy zdelegalizowanej islamistycznej Partii Cnoty (następczyni Partii Dobrobytu) założył ugrupowanie Partia Sprawiedliwości i Rozwoju (AKP). Został wybrany jej przewodniczącym. Jako lider nowej formacji politycznej odwołującej się do tradycji ruchów islamistycznych Erdoğan złagodził retorykę religijną i opowiedział się za integracją Turcji z Unią Europejską.