Kolejna znaczniejsza przebudowa miała miejsce za panowania króla Filipa IV w 1636 r. Na polecenie króla architekt Juan Gómez de Mora przebudował wszystkie fasady z wyjątkiem zachodniej. Ujednolicono fasadę główną dodając wieżę we wschodnim narożniku pałacu, zamontowano granitowe gzymsy i balkony oraz żelazne balustrady. Za czasów Carlosa Nawiedzonego wieżę we wschodnim narożniku pałacu, symetryczną do Wieży Złotej i zwaną Wieżą Królowej (Torre de la Reina), nakryto spiczastym hełmem.
W pełni ukształtowany Alkazar był budowlą na planie prostokąta z dwoma dziedzińcami – dziedzińcem króla oraz dziedzińcem królowej, przy czym ten ostatni był większy od pierwszego. Brama główna znajdowała się w fasadzie południowej. Pałac zbudowano głównie z miejscowych materiałów – cegieł z gliny pochodzącej z rzeki Manzanares oraz granitów z gór Guadarrama.