Anthonych, a następnie wykorzystywała do publikacji reprodukcji na szeroką skalę. Brady nigdy ich nie odzyskał. W 1940 kupiła je Biblioteka Kongresu. Druga część negatywów pozostawała w rękach Brady’ego do 1871, gdy nabył je rząd. W roku 1875 otrzymał od rządu jeszcze 25 tys. $, ale te pieniądze nie zahamowały już jego upadku.
Brady stracił większość klienteli, a Gardner – jego dawny współpracownik – stał się głównym konkurentem. Popadł w depresję, którą pogłębiła śmierć żony w roku 1887, i w alkoholizm. W 1895 został ranny, w wyniku potrącenia przez tramwaj. Wkrótce później przeniósł się z Waszyngtonu do Nowego Jorku. Komplikacje powypadkowe nie pozwoliły mu na zrealizowanie zaplanowanego pokazu latarni magicznej ze zdjęciami z wojny secesyjnej. Niewiele później, 15 stycznia 1896, zmarł osamotniony na dobroczynnym oddziale Presbyterian Hospital w Nowym Jorku i został pochowany za datki kombatantów 7th New York Infantry na Congressional Cemetery w Waszyngtonie.
Małżeństwo Brady’ego pozostało bezdzietne, dlatego on już od dawna darzył wielkim zainteresowaniem bratanka żony, Levina Corbina Handy’ego, z nadzieją, że ten przejmie jego doświadczenie i warsztat.