W sezonie 2002/2003 Johnson rozegrał 35 spotkań i zdobył trzy gole. Ponadto był kapitanem zespołu w kwietniowym meczu ze Stockport County. W listopadzie 2003 roku trenerem klubu został Tony Adams. Od tego czasu Johnson nie miał już pewnego miejsca w składzie i stracił opaskę kapitańską. Rozgrywał spotkania na pozycji lewego obrońcy, a także środkowego napastnika, mimo iż Johnson jest środkowym obrońcą. Według Adamsa miał on z nim wówczas problemy wychowawcze i dlatego występował rzadziej. W sezonie 2003/2004 Johnson rozegrał 36 spotkań, w tym 28 w lidze oraz zdobył trzy gole. Został także wybrany przez kibiców najlepszym piłkarzem zespołu. Jego klub zajął ostatnie miejsce w Football League One i spadł do Football League Two.
W listopadzie 2004 roku Adams opuścił Wycombe. Jego miejsce zajął John Gorman. Pod wodzą nowego trenera Johnson częściej występował w drużynie i był także kapitanem zespołu. 2 stycznia 2005 roku po długich negocjacjach przedłużył kontrakt z klubem do czerwca 2007 roku. W sezonie 2004/2005 rozegrał 48 spotkań we wszystkich rozgrywkach i strzelił siedem goli.