Wiązało się to z opuszczeniem w 1542 świątyni przez ostatnich dominikanów i przekazaniu zabudowań radzie miejskiej, która oddała budynki ewangelikom. Podczas wojny szwedzkiej zniszczony i odbudowany. W 1817 roku zburzono część budynków klasztoru dominikanów, a w kościele dokonano ingerencji neogotyckich. W czasie II wojny światowej Niemcy wykorzystywali go jako schron, kościół i klasztor zostały zniszczone w 1945 roku, kościół odbudowano po 1959. Z inicjatywy Gerarda Kwiatkowskiego podczas obudowy obiektu przeznaczono go na cele kulturalne, w kwietniu 1961 urządzono w nim Galerię EL..
Kościół powstał na planie nieregularnego prostokąta, posiadał dwie nawy, wydzielone prezbiterium, zakrystię i krużganek. Bryła nie posiada pionowych dominant, jedyną ozdobę stanowią trójkątne szczyty z pinaklami. Z trzech stron niskie przybudówki stanowiące pozostałość klasztornego wirydarza. Wnętrze częściowo zrekonstruowane, pozostawiono mury z ubytkami i epitafiamiPiotr Skurzyński "Warmia, Mazury, Suwalszczyzna" Wyd. Sport i Turystyka - Muza S.A. Warszawa 2004 s. 36 . Budynek i pozostałość dawnego klasztoru otacza zachowany fragmentarycznie mur, w którym znajdują się ostrołukowe nisze epitafijneLidia Abramowicz, Elbląg 1237–1987. 750 lat Elbląga.