30 sierpnia 2011 z Werderu został sprzedany do Arsenalu F.C za 11,4 mln euro, podpisując kontrakt do 2015 roku..Po przybyciu do Aklubu miał trudności z adaptacją do intensywności i tempa gry w Premier League, co doprowadziło do krytyki jego szybkości w pierwszych meczach, choć jego opanowanie pod presją i świadomość pozycji były często podkreślane jako mocne strony. Jednym z najbardziej pamiętnych momentów był jego udany rzut karny w serii rzutów karnych w meczu o Tarczę Wspólnoty w 2017 roku przeciwko Chelsea, dzięki któremu Arsenalowi udało się zapewnić zwycięstwo 4-1 dzięki rzutom karnym po remisie 1-1.
Mertesacker ogłosił 7 lipca 2017 r, że przejdzie na emeryturę po sezonie. W 2017/18 wystąpił zaledwie w 13 meczach z powodu ciągłych kontuzji.
Po przejściu na emeryturę w lipcu 2018 roku został mianowany menedżerem akademii Arsenalu, zastępując Andriesa Jonkera na stanowisku dyrektora akademii. 12 stycznia 2026 roku klub potwierdził, że Mertesacker zrezygnuje z funkcji Menedżera Akademii po zakończeniu sezonu, po ośmiu latach pracy na tym stanowisku. Mertesacker stwierdził: „Arsenal jest i zawsze będzie dla mnie wyjątkowym klubem, więc była to trudna decyzja. Jestem bardzo wdzięczny za zaufanie, jakim obdarzył mnie klub, przechodząc z pierwszego składu bezpośrednio do roli Szefa Akademii.