Krótko przed 1784 dawny folwark biskupa rozparcelowano: browar zmienił właściciela, zaś ziemię podzielono na mniejsze parcele, rychło zabudowane drewnianymi budynkami.
Ulica weszła w okres szybkiej zabudowy w momencie utworzenia Królestwa Kongresowego; w rejonie ulicy Pokornej wzniesiono wtedy kilka piętrowych kamienic, wśród których wyróżniała się największa, należąca do Stanisława Sorettiego. Budowano także oficyny i już przy dalszym, środkowym odcinku ulicy – domki parterowe. W międzyczasie folwark Ostrowskiego zmienił właściciela; pojawiły się w nim nowe zabudowania, jednak w dużej mierze drewniane.
W okresie 1821-22 w zachodnim odcinku Inflanckiej wytyczono nieistniejący już plac Broni, rozciągający się między ulicami Pokorną i Dziką; tym samym ów niezabudowany fragment Inflanckiej zlikwidowano.
W związku z wytyczeniem wokół Cytadeli Warszawskiej esplanady i rozbiórką okolicznych budynków, działający dotąd przy ul. Zielonej szpital żydowski w roku 1827 przeniósł się na Inflancką, do kamienicy Sorettiego. Budynek ów szybko okazał się zbyt ciasny w stosunku do dużej liczby chorych: w okresie 1835-1938 szpital rozbudowano według projektu Henryka Marconiego, dobudowując dodatkowe skrzydło.