Wybór ten będzie miał fatalne skutki dla jego kariery, gdy Numan przekona się o niestałości popowych fanów, którzy szybko zwrócili uwagę na innych artystów. thumb|Numan w latach 80. Odwracając się od electropopu, Numan zaczął eksperymentować z jazzem, funkiem i lekkostrawnym popem. Jego popularność szybko zaczęła spadać, przyćmiona przez Adama Anta, a później Duran Duran, Culture Club czy Depeche Mode. Spędził dekadę w niemocy twórczej, próbując odzyskać swoją początkową sławę niczym się nie wyróżniającymi płytami, stylistycznie podobnymi do dokonań Roberta Palmera i Prince’a. Każdy kolejny krążek to inny wizerunek artystyczny, jednak żaden z nich nie trafił do publiczności tak, jak ten z późnych lat 70.

Numan miał dość żenującą przygodę w 1981, związaną z jego wielką pasją – lataniem. Podczas lotu dookoła świata swoim małym samolotem, musiał lądować w Indiach (prasa donosiła o bezpośrednim wypadku), gdzie został aresztowany z podejrzeniem o przemyt i szpiegostwo. Wbrew temu, co podawały w tamtym okresie wiadomości, Gary nie pilotował samolotu podczas lądowania. W późnych latach 80., jego życie było kilka razy zagrożone przez tajemniczego napastnika.