Pozycje wybrane przez Bakera były dobrane bardzo źle, wszystkie oddziały znajdowały się pod ostrzałem wroga. Dopiero po jakimś czasie dowódca zwrócił się o nadesłanie dział. Gdy po około pół godzinie Baker pojawił się ponownie w centrum walk na lewym skrzydle, został śmiertelnie postrzelony kulą pistoletową w chwili, gdy rozpoczynał obchód własnych stanowisk.
Evans tymczasem posyłał coraz większe siły w kierunku Ball’s Bluff, jednak zaledwie jedna kompania wojska osiągnęła pozycje w okolicy Edwards Ferry. Po zapadnięciu zmroku linia obony wojsk Unii pękła w końcu pod ciągłym ostrzałem konfederatów.
Wielu żołnierzy Północy spadło z klifu wprost do rzeki, gdzie potonęło. Wysłane do ewakuacji łodzie zostały zatopione. Ciała poległych i potopionych odtransportowano do Waszyngtonu.
Po bitwie obie strony nadal stacjonowały po obu stronach Potomaku. Winnym klęski uznano generała Stone’a. Najbardziej komentowano jednak śmierć senatora Bakera – bliskiego przyjaciela prezydenta Abrahama Lincolna. Podejrzewano nawet spisek przeciwko demokratom. Spory powstałe po śmierci Bakera doprowadziły nawet do politycznej walki w dowództwie Unii.