Elementem charakterystycznym były ślepe ściany kamienic, które wcześniej sąsiadowały ze zburzonymi w czasie wojny lub po jej zakończeniu budynkami, a także labirynty podwórek. Przy ul. Pańskiej znajdowało się prowizoryczne targowisko a przy skrzyżowaniu ulic Srebrnej i Żelaznej warszawska izba wytrzeźwień, czyli tzw. żłobek. Ta część miasta słynęła z wysokiej przestępczości, obecności melin i uznawana była za miejsce niebezpieczne.
W 1961 roku przyjęto program mający uporządkować „Dziki Zachód”. Plan na lata 1961–1968 zakładał wybudowane budynków mieszkalnych o kubaturze 900 tys. m³, usługowych – 600 tys. m³, adaptację istniejącej zabudowy – 650 tys. m³ oraz przebudowę układu komunikacyjnego. Głównym motorem zmian miało być wzniesienie sześciu nowych osiedli mieszkaniowych o nazwach: Złota, Miedziana, Srebrna (trzy tzw. „osiedla metalowe”), Emilia, Mariańska i Grzybów. Zabudowę miały uzupełnić osiedla spółdzielcze, w tym osiedle Pańska. Program budowy nowych osiedli, który wiązał się z wieloma wyburzeniami, został zrealizowany do 1969 roku.