Po zakończeniu wojny szwedzkiej jezuici rozpoczęli budowę świątyni przy miejscu cudu. Podczas jej budowy zakonnicy dowiedzieli się o dalszych losach obrazu i rozpoczęli starania o jego odzyskanie. W tym celu zwrócili się z prośbą o pomoc do byłego kanonika warmińskiego Tomasza Ujejskiego, wówczas biskupa kijowskiego, który nie mogąc objąć władzy na Ukrainie, ciągle przebywał we Fromborku. Biskup Ujejski miał duże wpływy w kręgach rodziny królewskiej i dzięki jego staraniom udało się obraz, po 46 latach, odzyskać. Przez pewien czas jeszcze znajdował się w zamku biskupów w Lidzbarku Warmińskim, nim przewieziono go w pielgrzymce do Braniewa. W czasie peregrynacji odwiedził również Dobre Miasto, Ornetę i Pieniężno i w dniu 12 października 1672 roku został uroczyście wprowadzony do nowo zbudowanej drewnianej kaplicy w Braniewie. Kaplica ta niedługo potem spłonęła w pożarze spowodowanym uderzeniem pioruna. Gdy wybudowany w tym miejscu drewniany kościółek spotkał taki sam los, jezuici pod przewodnictwem biskupa warmińskiego postanowili zbudować murowany kościół, który przetrwał do czasów współczesnych. Podczas II wojny światowej obraz raz jeszcze musiał opuścić mury świątyni. Gdy w 1945 do Braniewa zbliżali się Rosjanie, redemptoryści postanowili ewakuować się z zamykającego się okrążenia miasta przez Armię Czerwoną.