W roku 195 oskarżony przez możnych o konszachty z Antiochem III przeciw Rzymowi, musiał uciekać z kraju, udając się najpierw do Tyru, po czym faktycznie znalazł się na dworze seleukidzkiego króla Antiocha w Efezie. Po klęsce Antiocha w wojnie z Rzymem w roku 189 uciekł do Bitynii do króla Prusjasza, gdzie w 183 roku popełnił samobójstwo wypijając truciznę, którą dostał od ojca i nosił zawsze w pierścieniu, by nie wpaść w ręce Rzymian. Przed śmiercią powiedział: „Uwolnijmy Rzymian od ich długiego niepokoju, skoro twierdzą, iż zbyt długo jest czekać na śmierć starego człowieka”. Został pochowany w grobowcu między Chalkedonem a Nikomedią.
Pliniusz Starszy i Plutarch odnotowują, że grób Hannibala znajduje się w Libii na wybrzeżu Morza Marmara. Według niektórych Libia czyli 'Libyssa' znajdowała się w Gebze (Ghebse, Givyza), pomiędzy Bursą a Üskudarem. W. M. Leake utożsamiając Gebze ze starożytną Dakibyzą (Dacibyza), umieścił je dalej na zachód.
Lokalizacja grobu Hannibala nie została dostatecznie określona. Z inicjatywy tureckiego męża stanu Atatürka, wielkiego miłośnika Hannibala, zbudowano w 1981 roku na południu dzisiejszego Gebze, monumentaly grobowiec Hanibalin Mezari-Gebze.