Kościół i klasztor zyskały swą obecną formę po przebudowie z lat 1465–1470. Zespół klasztorny został spalony w 1657 przez Brandenburczyków. Zniszczenia usunięto dopiero w 1664, gdy przebudowano sklepienie nawy głównej, dobudowano barokową fasadę, a całość otynkowano. W tym czasie powstały również drewniane stalle, które około 1670 pokrył polichromią AFC (zidentyfikowany jako brat Andrzej, Andreas Frater Carmelita). Na przełomie XVII i XVIII wieku w przedłużeniu południowej nawy powstała przysadzista wieża według projektu Krzysztofa Bonadury Starszego, a w 1726 po północnej stronie prezbiterium wzniesiono kaplicę Matki Boskiej Szkaplerznej.
W roku 1826 rząd pruski skasował klasztor, a opuszczony zespół zaczął niszczeć. Od rozbiórki uratowało go przejęcie kościoła przez reformatów w 1856. Nowi właściciele przeprowadzili gruntowny remont. W tym samym czasie zabudowania klasztorne przejęła pruska armia zmieniając je na koszary, a następnie na więzienie. W 1899 dzięki abp. Florianowi Stablewskiemu kościół stał się świątynią parafialną dla Wildy, Rybak i Piasków.