Do znaczącego incydentu doszło podczas wizyty w porcie gdańskim niemieckiego krążownika „Leipzig” w dniach 25–28 czerwca 1936 r. Komendant okrętu nie złożył, przewidzianej w umowach, wizyty Wysokiemu Komisarzowi.
30 czerwca 1936 Lester wysłał do Genewy nowy obszerny raport o sytuacji w Wolnym Mieście, domagając się interwencji Rady Ligi Narodów w sprawie 5 dekretów Senatu gwałcących konstytucję. Na zwołanym w tej sprawie posiedzeniu Rady 4 lipca 1936 prezydent Senatu Greiser żądał odwołania Lestera i nieprzysyłania nowego Komisarza Ligi Narodów do Gdańska. Rada nie wypowiedziała się w sprawie raportu i przekazała go Komitetowi Trzech, który opowiedział się za odwołaniem Lestera ze stanowiska Wysokiego Komisarza w Gdańsku.
W związku z brakiem możliwości wykonywania swoich obowiązków w październiku 1936 r. złożył dymisję ze stanowiska Wysokiego Komisarza, jednak nadal prowadził sprawy bieżące aż do wyboru jego następcy 17 lutego 1937.