Około południa ppłk. Brown zrozumiał, że wzgórze Barrosa wkrótce zostanie zaatakowane przez przeważające siły francuskie i zdecydował na pospieszny odwrót śladem pozostałych wojsk sprzymierzonych. Około 12.30 francuska dywizja Ruffina wkroczyła na wzgórze Barrosa od północy, a dywizja Levala skierowana została do ataku na wycofujących się Anglików. Gen. Graham, zawiadomiony przez hiszpańskich partyzantów o zbliżaniu się Francuzów ocenił, że wobec francuskiej przewagi oraz rozbicia przez atakujących od strony Chiclany Francuzów hiszpańskich taborów podzielonej armii sprzymierzonych grozi klęska. Do zablokowania dywizji Ruffina skierował na obejście wzgórza Barrosa trzy szwadrony kawalerii, a przeciwko atakowi dywizji Levala zorganizował obronę w oparciu o las. Widząc jednak francuską artylerię zajmującą pozycję na wzgórzu zdecydował się na natychmiastowy kontratak celem odzyskania tej pozycji. Atak pojedynczego batalionu ppłk. Browna na obronną pozycję obsadzoną przez 2500 Francuzów wspartych przez 8 dział został z łatwością odparty przy ciężkich stratach Anglików, ale ludzie ppłk. Browna pomimo rozproszenia batalionu kontynuowali walkę ogniową wykorzystując osłonę nielicznych drzew. Czas poświęcony na odparcie kontrataku pozwolił Grahamowi rozwinąć brygadę gen.