Wzloty i upadki (1980–1983) We wczesnej fazie sezonu 1980/1981 Johnson został odsunięty od gry po tym, jak naderwał chrząstkę w lewym kolanie. Opuścił 45 gier, a później mówił, że rehabilitacja była najbardziej dołującym doświadczeniem w jego życiu. Johnson powrócił przed rozpoczęciem fazy play-off w 1981, ale ówczesny asystent i przyszły trener Lakers, Pat Riley mówił później, że długo oczekiwany powrót Johnsona sprawił, że w drużynie doszło do wewnętrznych podziałów. Drużyna z Los Angeles w sezonie regularnym odniosła 54 zwycięstwa i w drugiej rundzie play-off spotkała się z mającymi bilans 40–42 Houston Rockets, przegrywając rywalizację 2–1, po tym gdy Johnson nie trafił rzutu w ostatniej sekundzie meczu numer 3.
Podczas przerwy między sezonowej Johnson podpisał 25-letni kontrakt wart 25 milionów dolarów. Stał się wówczas najlepiej opłacanym zawodnikiem w historii sportu. Na początku sezonu 1981–1982 Johnson prowadził z Westheadem spór, zarzucając trenerowi, że prowadzi zespół, który gra wolno i w przewidywalny sposób. Po tym jak Johnson domagał się transferu, właściciel Lakers, Jerry Buss zwolnił Westheada i zastąpił go Rileyem. Chociaż Johnson nie ponosił odpowiedzialności za zwolnienie Westheada to był wygwizdywany na meczach ligi, nawet przez fanów Lakers.