Po 8-miesięcznej nieobecności − w czasie której przeprowadzał inspekcję czarnoskórych oddziałów pełniących służbę w Dolinie Missisipi − Wadsworth został dowódcą 4 Dywizji V Korpusu; dywizja składała się z jego własnych żołnierzy oraz z resztek dywizji Doubledaya. To świadczy o jego dokonaniach pod Gettysburgiem, jako że wielu dowódców w ogóle nie otrzymało przydziałów.
Śmierć w puszczy thumb|280px|James Wadsworth (siedzi pierwszy z prawej)
Gdy Ulysses Grant podjął w 1864 kampanię lądową, Wadsworth poprowadził swą dywizję do bitwy. 5 maja otrzymał rozkaz wsparcia linii obronnych lewego skrzydła, ale stracił orientację podczas przedzierania się przez gęstwinę i skręcił na północ, odsłaniając swe lewe skrzydło i wystawiając je tym samym na niespodziewany, gwałtowny atakFoote, s.160..
6 maja, gdy próbował wyprowadzić z zagrożonego obszaru swe dwie istniejące jeszcze brygady, Wadsworth został trafiony kulą karabinową w tył głowy. Spadł z konia i został wzięty do niewoli przez ścigająych jego ludzi Konfederatów. Zmarł dwa dni później w