Dopiero w 1922 roku, po interwencjach biskupa Juliusza Bursche i posła Spickermanna oraz innych notabli, budynek przekazano prawowitemu właścicielowi, czyli kolskiej parafii. Po odzyskaniu budynku parafia była zmuszona dokonać remontu pastorówki, którego koszt wyniósł 7 milionów 765 tysięcy i 680 marek polskich. W 1927 roku położono na budynku nowy dach, a dwa lata później budynek otynkowano.

W wyniku II wojny światowej miasto opuścił ostatni kolski proboszcz i większość parafian. W 1945 roku pastorówka była w 70% zniszczona i splądrowana, ulokowano w niej jednak Oddział Koło Towarzystwa Przyjaciół Żołnierza.

31 stycznia 1948 roku pastorówka wraz z kościołem, ogrodem i budynkami gospodarczymi został przekazany diecezji pomorsko-wielkopolskiej Kościoła Ewangelicko-Augsburskiego, jednak już 1 października 1947 roku władze diecezji zwróciły się do Towarzystwa Przyjaciół Żołnierza z propozycją podpisania umowy najmu pastorówki, którą zawarto ostatecznie 18 listopada tego samego roku. Jak wynika z wizytacji w 1950 roku w budynku oprócz siedziby TPŻ znajdowało się także przedszkole oraz mieszkało w nim kilka osób. W tym samym roku nastąpiła zmiana najemcy, gdyż zamiast TPŻ lokale zaczął wynajmować Zarząd Powiatowy Związku Młodzieży Polskiej.