Stałe stosunki dyplomatyczne z Frankami, oraz hojne dary którymi obdarzał Karola Wielkiego (m.in. przekazał mu w prezencie słonia indyjskiego o imieniu Abu Abbas), pozwoliły mu na uzyskanie sojusznika w walce z Cesarstwem Bizantyjskim i kalifatem Kordowy (wówczas pod władzą Ummajadów) w Hiszpanii. O rzekomych kontaktach Haruna ar-Raszida z Karolem Wielkim (wraz ze szczegółami, w rodzaju podarunku w postaci słonia „od króla Persji Aarona”, bo Harun to właśnie odpowiednik biblijnego Aarona) wspominają wyłącznie autorzy zachodni, np. Einhard w „Życiu Karola Wielkiego”. Źródła arabskie milczą na ten temat, a w każdym razie są powściągliwe. Rządy sprawował początkowo przy pomocy Barmakidów, którzy pełnili eksponowane stanowiska w administracji państwa od panowania kalifa Al-Mansura (754-775). W 803 roku doszło do upadku Barmakidów, najprawdopodobniej z obawy przed ich zbyt rosnącymi wpływami. Trzeba pamiętać, że byli w odróżnieniu od kalifa szyitami. Zaczęło się od zgładzenia wezyra Dżafara, najbliższego towarzysza kalifa. Jako przyczynę podano, iż rzekomo miał romans z siostrą kalifa, Al-Abbasą, która na domiar wszystkiego urodziła w sekrecie ich wspólnego syna. Dziecko zostało ukryte w Mekce w czasie hadżdżu, ale Ar-Raszid i tak się o wszystkim dowiedział.