W czasie krótkotrwałej okupacji miasta przez konfederatów (26 czerwca 1863 roku) Burns wdał się w sprzeczkę z gen. Jubalem Early’m, za co generał kazał wtrącić go do więzienia. Gdy konfederaci odeszli, Burns został uwolniony i zaraz aresztował kilku konfederackich maruderówSamuel P. Bates, The Battle of Gettysburg, s. 219. .; jego działania przeciwko wojskom najeźdźców trwały do chwili, gdy w mieście zjawili się kawalerzyści federalni gen. Johna Buforda.
mały|lewo|240px|Dom Burnsa po bitwie. On sam siedzi na szczycie schodów. Rankiem pierwszego dnia bitwy (1 lipca 1863 roku) Burns wziął swój skałkowy muszkiet i róg z prochem, po czym udał się tam, gdzie toczyła się walka. Po drodze spotkał rannego żołnierza Armii Unii i zapytał, czy mógłby użyć jego nowocześniejszej broni; żołnierz wyraził zgodę, więc Burns ruszył dalej z karabinem w ręku i pociskami w kieszeniach. Gdy natrafił na majora Thomasa Chamberlina ze 150 Regimentu Piechoty z Pensylwanii Burns zapytał, czy może walczyć w szeregach tego regimentu (Chamberlin później opisał ubiór Burnsa jako składający się z „czarnych spodni i surduta z mosiężnymi, błyszczącymi guzikami, jaki mógł być ozdobą dżentelmena z przeszłości i równie starego, jedwabnego – dziś już wyblakłego – kapelusza”).