By móc wyburzyć dużą część berlińskiego centrum, Speer osobiście nadzorował w okresie od października do kwietnia deportację z Berlina 23 tysięcy Żydów, których mieszkania potrzebne były do przesiedlenia mieszkańców z wyburzanych budynków. Ciężar wojny spowodował, że Hitler skierował Speera do innej pracy, a plany przebudowy Berlina musiano odłożyć.
Do zadań Alberta Speera należało przed II wojną światową organizowanie wieców narodowych socjalistów.
Minister uzbrojenia i amunicji thumb|Hitler i Speer jako minister uzbrojenia i amunicji (1942) Od 8 lutego 1942 r. Speer był ministrem odpowiedzialnym za uzbrojenie i amunicję (Reichsminister für Bewaffnung und Munition) i szefem Organizacji Todta. Jego staraniom przypisuje się fenomenalny rozwój niemieckiej produkcji wojennej po Wydatnie zwiększył produkcję broni, amunicji, czołgów, benzyny lotniczej, a także samolotów. Także rozwój produkcji paliw syntetycznych uważany jest za jego wielki sukces. Umożliwił on przedłużenie wojny o wiele miesięcy. Uważa się często, że był planistą i organizatorem o wyjątkowych zdolnościach, przykładem najbardziej twórczego umysłu technicznego. Potrafił planować na wielką skalę i wprowadzać na bieżąco niezbędne korekty, by uporać się z zadaniem produkcji wojennej. Jego nominacja na to stanowisko zbiegła się w czasie z ważnymi wydarzeniami.