W tym okresie zaczął nadużywać narkotyków i alkoholu, jednak za namową Joe Farrella pokonał uzależnienie, w czym wspierała go żona Judy, również mierząca się z alkoholizmem.
W 1990 przeniósł się do Berlina, gdzie kontynuował karierę, m.in. występował jako pianista na statkach wycieczkowych oraz w klubach na terenie Niemiec. Coraz odważniej łączył grę na pianinie ze śpiewaniem, do czego ośmielił go sukces jego interpretacji utworu „On the Sunny Side of the Street”. Przez jakiś czas występował w zespole Jimmiego Walleta Magnolia Jazz Band.
Międzynarodowy sukces Za namową agenta Manfreda Zähringera z Iceberg Records w Danii zaczął łączyć scatting z hip-hopem, do czego początkowo podszedł sceptycznie, bo obawiał się, że słuchacze odkryją jego wadę wymowy. W 1994 we współpracy z producentami Ingo Kays i Tonym Catania wydał singiel „Scatman (Ski-Ba-Bop-Ba-Dop-Bop)”, który wydał pod pseudonimem Scatman John. Singiel rozszedł się w ponad 6 milionowym nakładzie. Po sukcesie tej piosenki, a także drugiego singla – „Scatman’s World” – wyruszył w trasę koncertową po Europie i Azji.