Jednak pruski dowódca został zaskoczony po raz kolejny, gdy około godziny 16 od strony Stępnia pojawiły się główne siły francuskie. Wcześniej oddziały Duponta przepędziły pruskie forpoczty z Garbiny. Walka o Stępień była zacięta, gdyż wieś przechodziła z rąk do rąk, ale ostatecznie tryumfowali Francuzi spychając Rosjan i Prusaków w kierunku Braniewa. Tymczasem generał Bruyere mimo początkowo zaciętego oporu zdobył Rudłowo i pędził zdezorganizowane oddziały prusko-rosyjskie w kierunku Braniewa. Odwrót sojuszników zaczynał przekształcać się w pogrom, gdyż również na przedmieściach generał Dupont rozbił kolejną linię pruską, a cofający się rosyjski kałuski pułki muszkieterów stracił 2 działa. Prusacy zaczęli uciekać przez oba mosty na prawy brzeg Pasłęki, ale wkrótce jeden z mostów zdobyli Francuzi, gdyż został on porzucony przez mający go bronić pruski batalion. Francuzi wkroczyli do Starego Miasta kilkoma bramami odcinając drogi odwrotu oddziałom sojuszniczym, ciężkie straty poniósł zwłaszcza rosyjski kałuski pułk muszkieterów. Ostatnia droga odwrotu wiodła przez główny most tzw. Młyński, a cofające się oddziały były zasypywane ogniem karabinowym przez zaprawione w walkach ulicznych oddziały francuskie. Przed ratuszem Francuzi zdobyli armatę i otworzyli z niej ogień w kierunku mostu.