Przeżył 76 lat.
Mit przyzwoitego narodowego socjalisty thumb|Arno Breker rzeźbi w czasach narodowego socjalizmu popiersie Alberta Speera (1940) Uważa się, że Albert Speer zbudował wokół swojej osoby mit „przyzwoitego narodowego socjalisty”, który niewiele ma wspólnego z prawdą historyczną. Biografia Speera wydana jeszcze za jego życia i napisana przez Joachima Festa tylko w niewielkim stopniu podważyła ten mit.
Tym niemniej w Niemczech zachowały się dokumenty świadczące o tym, że Speer kierował deportacją Żydów z Berlina w ramach realizacji przebudowy urbanistycznej miasta. 6 października 1943 r. w Poznaniu brał udział w zebraniu, na którym przemawiał Himmler, omawiając zagładę Żydów, i gdzie rozważano problemy z tym związane.. Dokumenty te świadczą też o tym, że jako minister uzbrojenia III Rzeszy podpisywał decyzje alokujące środki na rozbudowę Auschwitz. Podobnie okazało się, że dziennik wojenny (zatytułowany Chronik) napisany przez architekta Rudolfa Woltersa – bliskiego współpracownika i przyjaciela Speera – zawiera usunięte przed publikacją fragmenty, które nie pozostawiają wątpliwości co do tego, że Speer wiedział o Holocauście i był aktywnym narodowym socjalistą.