Na terenach darowanych przez księżnę Annę augustianom wybudowali oni Szpital św. Ducha (obecnie nie istnieje). Był to drugi szpital pod tym wezwaniem (pierwszy znajdował się przy bramie Nowomiejskiej). Tak to opisuje J. Bartoszewicz:
I pomimo że ugodę tę spisaną w 1442 zatwierdził papież Eugeniusz IV, a wykonanie jej polecił nuncjuszowi Jędrzejowi Pallatio, księżna Anna ugody nie dotrzymała, na kościół i szpital nie łożyła, a w testamencie (1458) władzę nad szpitalem oddała lazarystom.
Pożar w 1478, który strawił całą ulicę Piwną aż po zamek, całkowicie zniszczył wnętrze kościoła. Popękały marmurowe ołtarze, spłonęły obrazy i ozdoby kościelne. Ocalał jedynie obraz z wielkiego ołtarza. Spłonęły także drewniany dach i część dokumentów augustianów znajdujących się w klasztorze. W czasie odbudowy w 1494 przeniesiono zakrystię do kaplicy Wszystkich Świętych. Odnotowano, że ołtarz Pocieszenia Najświętszej Panny odnowił po pożarze kolator Kacper Rzepcha – mieszczanin warszawski.