W styczniu 2012 Mustafi przeniósł się do Włoch, do drugoligowej wówczas Sampdorii, która pozyskała go na zasadzie wolnego transferu. Później ówczesny menadżer angielskiego klubu, David Moyes, przyznał, że transfer ten był "próbą pozyskania funduszy na nowych zawodników". 26 maja 2012 roku Mustafi zadebiutował w barwach nowej drużyny, rozgrywając pełne 90 minut przegranego 1:3 spotkania z Varese. Po zakończeniu sezonu Sampdoria powróciła do Serie A. 11 listopada 2012 roku Mustafi rozegrał pierwsze spotkanie we włoskiej ekstraklasie, rozgrywając pełne 90 minut przegranego 0:2 meczu z US Palermo. 26 października 2013 roku zdobył pierwszego gola w barwach klubu, dając Sampdorii zwycięstwo podczas wygranego 1:0 spotkania z Atalantą.
7 sierpnia 2014 roku Mustafi podpisał pięcioletni kontrakt z hiszpańską Valencią, która wykupiła go z Sampdorii za nieujawnioną kwotę, którą szacowało się na 8 milionów euro. 25 września tego samego roku zadebiutował w barwach klubu podczas wygranego 3:0 meczu z Córdoba CF. Miesiąc później strzelił pierwszego gola dla Valencii, otwierając wynik wygranego 3:1 spotkania z Elche CF. W kolejnym meczu, 2 listopada, Mustafi zdobył dwie bramki, zapewniając swojemu zespołowi zwycięstwo 3:1 nad Villarrealem oraz awans na drugą pozycję w tabeli ligowej.