Kontratak konfederatów Tymczasem francuscy oficerowie (de la Serre, Duclos i Desprez) zdołali uporządkować siły konfederatów pod osłoną zamkowych murów. Po przeformowaniu szyków obrońcy zdecydowali się na odważny atak, którego celem było wypchnięcie Rosjan z góry zamkowej. Atak został poprowadzony z dwóch stron; sam de la Serre opuścił most zwodzony i zaatakował na bagnety 65 ludźmi armię Suworowa od czoła, podczas gdy grupa 15 konfederatów pod dowództwem dwóch jego rodaków Duclosa i Despreza wymknęła się z twierdzy boczną furtą i zaatakowała Rosjan od skrzydła.
Według relacji francuskiego oficera atak konfederatów zakończył się sukcesem dopiero po wielu godzinach heroicznej walki, w której Rosjanie mieli stracić ok. 400-500 żołnierzy, a Polacy jedynie 11. Wówczas, widząc klęskę swoich sił, około wpół do szóstej wieczorem pułkownik Aleksandr Suworow nakazał odwrót. Z kolei według relacji rosyjskiej walka była krótka, Rosjanom niemal udało się zdobyć zamek z zaskoczenia, jednak ich oddziały wycofały się po śmierci oficerów prowadzących szturm.