W nocy 23/24 września przyjęty został projekt Ostroroga wycofania się całych sił polskich z taborami włącznie. Pogłoska wśród wojska o ucieczce regimentarzy wywołała panikę, co doprowadziło do wycofania się (ucieczki) komunikiem, czyli bez taborów i armat. Ostroróg zarzucał później Wiśniowieckiemu, Tyszkiewiczowi i Radziejowskiemu, że to oni pierwsi uciekli spod Piławiec, ci zaś oskarżali go o to samo. Wraz z innymi uciekinierami Ostroróg przybył 26 września do Lwowa i próbował odtworzyć wojsko, żołnierze jednak nie chcieli mu się podporządkować, a na naradzie zwołanej przez niego mocno go oskarżano o spowodowanie klęski pod Piławcami. Pod naciskiem uczestników narady złożył regimentarstwo na rzecz Wiśniowieckiego, który nakłonił go by pozostał jako drugi regimentarz. 15 października wraz z Wiśniowieckim opuścił Lwów.