Burmistrz Jerozolimy thumb|200px|Tablica upamiętniająca wizytę burmistrza Jerozolimy Olmerta w brazylijskiej Kurytybie w 1995 r. W listopadzie 1993 został wybrany na burmistrza Jerozolimy, pokonując dotychczasowego wieloletniego szefa miasta, Teddy Kolleka. Pełnił funkcję burmistrza przez dwie kadencje (do 2003), przypisuje się mu m.in. rozwój infrastruktury drogowej i systemu edukacji. Był pierwszym burmistrzem Jerozolimy z partii Likud. W czasie swojej kadencji rozpoczął kontrowersyjną rozbudowę osiedli mieszkaniowych przeznaczonych tylko dla Żydów na Górze Oliwnej. Miasto zainwestowało także w rozwój systemu lekkiej kolei miejskiej, a także innych rodzajów transportu publicznego. W sprawach bezpieczeństwa miasta wzorował się na burmistrzu Nowego Jorku Rudym Giulianim, z którym był zaprzyjaźniony.
Będąc burmistrzem Jerozolimy, Olmert został zaproszony do udziału w międzynarodowej konferencji poświęconej rozwiązywaniu konfliktów, która odbyła się w Derry (Irlandia Północna). W swojej przemowie opisywał, w jaki sposób przywódcy polityczni mogą pomóc zmieniać klimat psychologiczny, który wpływa na jakość relacji między ludźmi.