Kilkakrotnie kompleks bożogrobców ulegał pożarom – w 1473, 1536 i 1556. I schyłku XVI stulecia w kościele znajdowało się sześć ołtarzy, z czego cztery znajdowały się w prezbiterium, oddzielonym od nawy żelazną kratą. W 1655, podczas potopu szwedzkiego kościół ponownie został spalony. Staraniem prepozyta ks. Augustyna Wolskiego odbudowano go w stylu barokowym; nowa świątynia została konsekrowana w 1674 przez biskupa Mikołaja Oborskiego. Szpital stał się wówczas przytułkiem dla "podeszłych w leciech i wypracowanych w Koronie polskiej szlachty". Wzniesiony wtedy kościół był świątynią orientowaną, jednonawową, z prezbiterium zakończonym półkolistą apsydą. Pięcioprzęsłową nawę sklepiono kolebkowo, z lunetami.
W 1796 zabudowania kościoła i klasztoru zajęli Austriacy (bożogrobców przeniesiono do kościoła św. Barbary). Zaborcy dokonali przebudowy kościoła i klasztoru w jednolity, potężny gmach, w którego murach zachowano jednak substancję kościoła. Wzniesiono wielki, trzypiętrowy budynek w stylu klasycystycznym z jednolitą fasadą frontową;