Gabinet był urządzony identycznie jak jego odpowiednik w Kancelarii Rzeszy w Berlinie (jego wystrój został niezmieniony do dziś i często pełni rolę dekoracji filmowej). Przystąpiono również do gruntownej przebudowy Sali Tronowej, która miała pełnić funkcję miejsca zgromadzeń. W południowej elewacji wybito nowe, reprezentacyjne wejście. Pod podwórzem od ul. św. Marcin powstał schron przeciwlotniczy na 375 osób. Prowadzona przebudowa została przerwana dyrektywą Hitlera w 1943 roku, co związane było z niemieckimi niepowodzeniami na froncie wschodnim.
Po kapitulacji cytadeli 23 lutego 1945 roku w zamku powstał obóz przejściowy dla jeńców niemieckich, a następnie w kompleksie mieściły się koszary Ludowego Wojska Polskiego.mały|Fasada Zamku Cesarskiego podczas czyszczenia i renowacji|lewoW okresie powojennym rozważano zburzenie budowli kojarzącej się z okresem zaborów i niemieckiej okupacji. Ostatecznie jednak (głównie ze względu na szczupłość środków finansowych) ograniczono się do usunięcia większości symboli nazistowskich i rozebrania uszkodzonej najwyższej kondygnacji wieży zegarowej.