Przerwała ją ponowna grabież majątku w roku 1660. Rektor Szymon Wdziękoński odesłał współbraci do miejsc bezpieczniejszych, dzięki temu ocalili oni swoje życie. Mimo tego Kozacy spalili kolegium, kościół, szkołę, bursę i szpital. Jezuici powrócili rok później i natychmiast przystąpili do odbudowy, lecz w roku 1663 kolegium znowu spłonęło wskutek ataku wojsk rosyjsko-kozackich. Po rozejmie andruszowskim w roku 1667 sytuacja na wschodnich terenach Rzeczypospolitej się uspokoiła, co pozwoliło jezuitom pełnić swoje obowiązki w Pińsku.
Lata 1667–1700 W roku 1667 podjęto decyzję o rozpoczęciu budowy nowego budynku kolegium, tym razem nowy budynek miał być murowany. Pracę nad nowym budynkiem utrudniło zawalenie się ostatniego piętra zbudowanej już trzeciej kondygnacji w roku 1671. Budowa murów kolegium została ukończona w roku 1675. W latach 1673–1693 budowano wokół powstającego kolegium mury obronne i bramę od strony rzeki Piny. Budowę kolegium ukończono w kolejnym stuleciu. Równocześnie trwały pracę nad upiększeniem wnętrza kościoła murowanego. Budowano ołtarze, organy i montowano dzwon. Po śmierci Albrychta Stanisława Radziwiłła w roku 1656, jezuici pińscy mogli liczyć na wsparcie innych szlachciców, szczególnie jeśli chodzi o kwestie finansowe.