Wtedy Sulajman zażądał listu żelaznego (aman) dla swojego brata, zaś odpowiedni dokument sformułował służący mu Ibn al-Mukaffa. Oburzony jego treścią kalif zastąpił Sulajmana na stanowisku namiestnika Basry Sufjanem Ibn Mu'awiją, który był osobistym wrogiem Ibn al-Mukaffy, oraz pozwolił Sufjanowi zabić tego ostatniego. Prawdopodobnie Ibn al-Mukaffa zginął po wymyślnych torturach. Wydaje się, że formułowane wobec niego podejrzenia, że w ukryciu nadal praktykuje manicheizm nie odegrały żadnej roli w jego upadku, który miał przyczyny czysto polityczne.
Twórczość Ibn al-Mukaffa jest znany przede wszystkim z racji swoich przekładów z języka średnioperskiego na arabski. Najważniejszym z tych przekładów jest bez wątpienia Kalila i Dimna, zbiór bajek stanowiący tłumaczenie dzieła Borzoje, VI-wiecznego lekarza na sasanidzkim dworze, które miało swoje źródło w indyjskiej Pańćatantrze. Chociaż posiadamy wiele arabskich kopii Kalili i Dimny, to najwcześniejsza z nich powstała około pięć wieków po śmierci Ibn al-Mukaffy i według wszelkiego prawdopodobieństwa znacznie odbiega od pierwowzoru. Wiemy jednak, że Kalila i Dimna stała się wzorem artystycznej prozy arabskiej. Ibn al-Mukaffa przełożył na arabski także m.in.