Po 1795 Stare Miasto podupadło i stało się dzielnicą biedoty, drobnych rzemieślników, a także prostytucji.
Na początku XIX wieku Stare Miasto pozbawione zostało bezużytecznych murów obronnych, w 1817 rozebrano bramy Nowomiejską i Krakowską wraz z sąsiadującymi budynkami, uzyskując przestrzeń dla placu Zamkowego, Barbakan przebudowano tak, że stał się częścią budynków mieszkalnych. Podjęto również rozbiórkę Ratusza i pobliskich sklepów. Stare Miasto stało się mało znaczącą częścią stolicy z przeludnionymi, chylącymi się ku upadkowi kamienicami zamieszkanymi przez ubogą ludność.
W 1906 Towarzystwo Opieki nad Zabytkami Przeszłości podjęło działania zmierzające do odnowy zdewastowanych staromiejskich budynków. Wykupiono i przeznaczono na inicjatywy społeczne kamienice: „Pod Świętą Anną” (nr 31) i Baryczków (nr 32). W 1916 zlikwidowano na Rynku targowisko i ułożono na nowo bruk. W 1928 odnowione fasady kamienic pokryto polichromią. Do 1938 zakończono częściową rekonstrukcję murów i Barbakanu.
W 1944 podczas powstania warszawskiego zabudowania Starego Miasta zostały zniszczone w ok. 90%. Przetrwało 6 domów z ponad 260.