W tym czasie (do 1489 roku) właścicielem Żuromina była rodzina Szczygłów. Po 1489 osada przeszła w ręce rodziny Dębskich. W 1578 roku wieś Żuromin liczyła już około 200 mieszkańców. Przed 1643 znalazła się w posiadaniu Tomasza Działyńskiego – wojewody chełmińskiego. Od 1703 roku Żuromin był własnością Michała Zdzisława Zamoyskiego – łowczego wielkiego koronnego i wojewody smoleńskiego, jako posag Anny Działyńskiej – wojewodzianki chełmińskiej. Pod zarządem Zamoyskich przeżywał znaczny rozwój gospodarczy, kulturalny i religijny.
Niebagatelną rolę odegrał w tym względzie rozwijający się kult maryjny. Wykorzystując ten kult Michał Zdzisław Zamoyski oraz Bohdan Mostowski – podczaszy płocki (potem kasztelan sierpecki i płocki) w 1714 roku ufundowali drewniany kościół. W 1718 roku biskup płocki Ludwik Bartłomiej Załuski zorganizował przy kościele misję Jezuitów z Pułtuska. Sprowadził ich do Żuromina Michał Z. Zamoyski, oddając im pod opiekę kościół oraz dom mieszkalny. Liczne pielgrzymki wiernych sprawiły, że Jezuici przystąpili do budowy większego kościoła murowanego. Rozpoczęte prace przerwała kasata zakonu w 1773 roku.