W listopadzie 1873 r. Chamberlain został wybrany burmistrzem Birmingham. Jako burmistrz Chamberlain zapewnił miastu stałe dostawy gazu, wykupując w imieniu miasta za 1 953 050 funtów dwie rywalizujące ze sobą kompanie gazowe - Birmingham Gas Company i Birmingham and Staffordshire Gas Company. Poprawił również zaopatrzenie ludności w wodę pitną. W 1875 r. doprowadził do wytyczenia przez miejskie slumsy Corporation Street. Dawnych mieszkańców tego obszaru osiedlono w lepszych warunkach na przedmieściach Birmingham. Za czasów urzędowania Chamberlaina nastąpił również rozwój kulturalny miasta. Budowano biblioteki, pływalnie i szkoły. Zbiory Museum & Art Gallery zostały powiększone. Otworzono również nowe parki.
W parlamencie i rządzie Pierwszą, nieudaną próbę uzyskania mandatu parlamentarnego Chamberlain podjął w 1874 r., niedługo po wyborze na burmistrza. Dopiero 17 czerwca 1876 r. wygrał wybory uzupełniające w okręgu Birmingham i zasiadł w ławach Izby Gmin. 4 sierpnia po raz pierwszy zabrał głos na forum Izby, podczas debaty o szkolnictwie podstawowym. W parlamencie dążył do zebrania wokół siebie radykalnych liberałów i uczynienie z nich głównej siły w Partii Liberalnej. Krytykował również politykę zagraniczną konserwatywnego rządu Beaconsfielda. W tym czasie stanął na czele Narodowej Federacji Liberalnej.