Po odejściu z Birmingham został szkoleniowcem Manchesteru City. W latach 1965–1972 osiągnął z tym klubem największe sukcesy w całej jego historii, niepowtórzone po dziś dzień. Najpierw wprowadził zespół do Division One, po czym w ciągu dwóch lat zdobył mistrzostwo Anglii, Puchar Anglii, Puchar Ligi Angielskiej oraz Puchar Zdobywców Pucharów. W meczu finałowym PZP rozgrywanym 29 kwietnia 1970 roku na stadionie w Wiedniu podopieczni Mercera pokonali Górnik Zabrze.
Później na prawie dziesięć lat związał się z Coventry City. Najpierw był trenerem tego klubu, a później dyrektorem technicznym. W międzyczasie, po rezygnacji Alfa Ramseya z funkcji selekcjonera reprezentacji Anglii tymczasowo, od maja do października 1974 roku, prowadził drużynę narodową. Jego bilans: 7 meczów, 3 wygrane – 3 remisy – 1 porażka. Za największy sukces poczytuje mu się remisy z RFN i Argentyną.
W latach 80. znacznie ograniczył swoją aktywność zawodową. Zmarł w dniu swoich siedemdziesiątych szóstych urodzin, miesiąc po tym, jak reprezentacja Anglii, prowadzona przez Bobby'ego Robsona, zajęła czwarte miejsce na mistrzostwach świata.