Po zakończeniu wojny szwedzkiej jezuici rozpoczęli budowę świątyni przy miejscu cudu. Podczas budowy zakonnicy dowiedzieli się o dalszych losach obrazu i rozpoczęli starania o jego odzyskanie. W tym celu zwrócili się z prośbą o pomoc do byłego kanonika warmińskiego Tomasza Ujejskiego, wówczas biskupa kijowskiego, który nie mogąc objąć władzy na Ukrainie, ciągle przebywał we Fromborku. Biskup Ujejski miał duże wpływy w kręgach rodziny królewskiej i dzięki jego staraniom udało się obraz, po 46 latach, odzyskać. 12 października 1672 roku został uroczyście wprowadzony do nowo zbudowanej drewnianej kaplicy na miejscu cudu. Kaplica ta niedługo potem spłonęła w pożarze od uderzenia pioruna. Gdy wybudowany w tym miejscu drewniany kościółek spotkał taki sam los, jezuici pod przewodnictwem biskupa warmińskiego postanowili zbudować murowany kościół, który już dotrwał do czasów współczesnych. Podczas II wojny światowej obraz raz jeszcze musiał opuścić mury świątyni. Gdy w 1945 do Braniewa zbliżali się Rosjanie, redemptoryści ukryli cenny obraz w szybie wentylacyjnym przy piecu kościoła.