4 września na zachód od miasta Warta oddziały Kresowej Brygady stoczyły walkę z niemiecką 24. Dywizją Piechoty. Wkrótce potem do brygady dotarł rozkaz gen. Rómmla nakazujący jej powrót na drugi brzeg rzeki i przejście do odwodów. Podległe Stefanowi Hance-Kuleszy wojska rozkaz wykonały, oderwały się od nieprzyjaciela i powróciły na pozycje wyjściowe w rejon Szadka, co jednak spowodowało utratę Warty i kilku mostów w rejonie miasta.
Z nie do końca wyjaśnionych przyczyn jeszcze tego samego dnia Hanka-Kulesza został usunięty ze stanowiska przez dowódcę Armii „Łódź” i przeniesiony na stanowisko zastępcy dowódcy brygady. Jego miejsce zajął płk Jerzy Grobicki. Niektórzy autorzy sugerują, że odwołanie pułkownika miało być próbą zrzucenia na niego winy za błędy strategiczne jego przełożonego. Z kolei w głośnym eseju Wrzesień: próba nowego spojrzenia Paweł Piotr Wieczorkiewicz sugeruje, że Hanka-Kulesza w istocie samowolnie opuścił dowodzoną przez siebie brygadę. Jakkolwiek było, po 6 września pułkownik opuścił swoją jednostkę i udał się do Warszawy, w ślad za generałem Rómmlem, możliwe że w celu wyjaśnienia całej sytuacji. W stolicy nie przywrócono mu dowództwa nad Kresową Brygadą Kawalerii, zamiast tego został skierowany do Dubna w celu zorganizowania obrony miasta.