początkowo porażenie było całkowite, z czasem zabiegi rehabilitacyjne przywróciły mu sprawność ciała od pasa w górę. Ostatnie dwanaście lat życia spędził na inwalidzkim wózku. W 1977 wydał autobiografię Soldat im Untergang, stanowiącą cenny dokument opisujący kulisy konspiracji przeciwko Hitlerowi w armii niemieckiej. W 1979 otrzymał Wielki Krzyż Zasługi Orderu Zasługi Republiki Federalnej Niemiec. Zmarł w wieku 74 lat.

Był trzykrotnie żonaty: od 1934 z Renatą Kracker von Schwartzenfeldt (1913–1942), z którą miał córkę Eleonorę, w latach 1953–1956 z Marią Evą von Wallenberg-Pachaly oraz od 1966 roku z Irmgard Löwe. Jego kuzynem był Gero von Gersdorff, zwany „brunatnym baronem”.

Zamach na Hitlera Postać von Gersdorffa jest związana z planowanym zamachem na Hitlera, którego zamierzała dokonać grupa oficerów sprzeciwiających się polityce führera. Gersdorff zgłosił się na ochotnika jako bezpośredni wykonawca zamachu; oświadczył generałowi von Tresckowowi, że gotów jest poświęcić życie, by dokonać samobójczego ataku na Hitlera za pomocą dwóch bomb ukrytych w płaszczu.