Przyznał się do winy i jako jedyny z oskarżonych wyraził skruchę i ubolewanie.
W więzieniu Spandau napisał swoje wspomnienia, które zostały opublikowane w 1969 r. (polskie wydanie pt. Dzienniki ze Spandau). Książka ta jest unikatowym opisem najbliższego otoczenia Hitlera. Speer próbował w niej wybielić swoją rolę w czasie wojny, utrzymując na przykład, że nic nie wiedział o niemieckich obozach zagłady. Przyznał tylko, że słyszał niejasne pogłoski o zbrodniach popełnianych w Auschwitz-Birkenau, ale z lojalności wobec Hitlera nie podjął starań, by dowiedzieć się czegoś więcej. Obecnie historycy uważają rzekomą niewiedzę Speera za rozmijanie się z prawdą. Do dziś przetrwały dokumenty potwierdzające, że w Speer organizował rozbudowę obozu koncentracyjnego Auschwitz. Jako architekt odpowiadał za plany (do dziś przetrwały jego odręczne szkice) rozbudowy krematoriów 1 i 2, kostnic obozowych, wieżyczek strażniczych, ogrodzenia z drutu kolczastego, planu podłączenia do ogrodzeń wysokiego napięcia. Był autorem, przygotowanych na bezpośrednie zlecenie Hitlera, planów baraków dla więźniów. Przy budowie i użytkowaniu fabryk oraz kopalń Speer ściśle współpracował z SS, która odpowiedzialna była m.in.