Około 14.30 Hooker nakazał swoim generałom przygotować się do pościgu za uchodzącą w jego mniemaniu armią konfederatów. Tymczasem Jackson koło godz. 15.00 osiągnął wysunięte najdalej siły prawej flanki przeciwnika. Zaraz też rozpoczął przygotowania do ataku. Przez cały dzień do kwatery wojsk Unii dochodziły meldunki o dużej grupie wojsk konfederatów maszerującej wzdłuż frontu XI korpusu w kierunku zachodnim. Żołnierze Północy byli jednak pewni swoich osłoniętych lasem pozycji, że zupełnie lekceważyli przeciwnika. Większość żołnierzy spędziła dzień na bezczynności.
Atak rozpoczął się około godz. 17.30, po tym, jak gen. Jackson rozwinął swój II Korpus na pozycje wyjściowe do ataku. Zaskoczenie żołnierzy federalnych z XI Korpusu gen. Howarda było całkowite. Silne natarcie ok. 30.000 żołnierzy konfederackich na nieufortyfikowane prawe skrzydło Armii Potomaku doprowadziło do całkowitego odwrotu w nieładzie tej części sił Unii. Zamiarem gen. Jacksona było dotarcie do polany Chancelorsville, co miało na celu odcięcie drogi ucieczki oddziałom federalnym od brodów na Rappahanock, a w konsekwencji zniszczenie ich. Zbliżający się zmrok oraz zamieszanie w oddziałach konfederackich spowodowane niedostatecznie skoordynowanym atakiem, pokrzyżowały te plany. Gen.