W lutym 1906 został mianowany arcybiskupem Mechelen. Święceń biskupich udzielił mu 25 marca 1906 w Malines ówczesny nuncjusz w Belgii, arcybiskup Antonio Vico. Rok później w kwietniu 1907 papież Pius X powołał Merciera w skład kolegium kardynalskiego, z tytułem kardynała prezbitera San Pietro in Vincoli. Jako kardynał Mercier uczestniczył dwukrotnie w konklawe – w 1914 po śmierci Piusa X i w 1922 po śmierci Benedykta XV. W czasie I wojny światowej, kiedy okupowaną przez wojska niemieckie Belgię opuściły władze z królem Albertem I na czele, kardynał był nieformalnym przywódcą antyniemieckiego oporu. W okresie powojennym zainicjował działalność Międzynarodowej Unii Badań Społecznych (1920) oraz rozmowy ekumeniczne w Mechelen z przedstawicielami anglikanizmu. W publikacjach naukowych występował jako zwolennik neotomizmu.
Zmarł w Brukseli w wieku 74 lat, został pochowany w katedrze w Mechelen.
W czerwcu 1912 udzielił święceń kapłańskich Polakowi, Kazimierzowi Lutosławskiemu, przyszłemu opiekunowi duchowemu harcerstwa. W 1918 otrzymał doktorat honoris causa Uniwersytetu Jagiellońskiego, a w 1921 – Order Orła Białego.