Jednak na skutek rozgrywek politycznych generała Schuylera, Gates został odwołany ze swojego stanowiska.
Kościuszko nie podlegający już Gatesowi musiał kontynuować prace Baldwina. St. Clair zdawał sobie sprawę z zasadności uwag Kościuszki dotyczących wzgórza Sugar Loaf jednak bez wyraźnego rozkazu od generała Schuylera nie podejmował żadnych nowych działań fortyfikacyjnych. Generał Schuyler przeprowadził 19 czerwca inspekcję rejonu Ticonderogi i odrzucił wnioski Kościuszki. Nakazał jedynie ufortyfikowanie Mount Independence.
Zajęcie fortu przez Brytyjczyków
Idące z Kanady na południe siły brytyjskie dowodzone przez Johna Burgoyne’a zmusiły fortyfikujących się Amerykanów do powrotu do fortu. Następnie na niebronionym Mount Defiance (zwanym także Sugar Loaf - Głowa Cukru), górującym nad fortem, Brytyjczycy ustawili działo.
"Gdzie może wejść kozica, może wejść człowiek, a tam gdzie on wejdzie może ze sobą zabrać broń palną” (ang. „Where a goat can go, a man can go, where a man can go, he can drag a gun”) – powiedział generał major William Phillips, gdy jego ludzie wciągnęli działo na górę Defiance w 1777.
W obliczu grożącego ostrzału artyleryjskiego, Arthur St. Clair zarządził opuszczenie Ticonderoga 5 lipca 1777.