W latach 1949–1950 z powodu aresztowania proboszcza parafii przez władze komunistyczne, duszpasterstwo sprawowali kapłani sąsiedniej parafii Matki Boskiej Nieustającej Pomocy na Szwederowie. W latach 1950–1970 duchacze nie starali się zbyt ostentacyjnie zaznaczać swego pobytu w Bydgoszczy. Nastały trudne czasy komunistyczne, prześladowania i uwięzienia zakonników, co utrudniło rozwój zgromadzenia. Misjonarze skoncentrowali się głównie na odbudowie swojej siedziby (trzykrotnie podpalanej, przez nieznanych sprawców). Równocześnie kształcili w seminarium kolejne pokolenia misjonarzy.

Ponowny rozwój Zgromadzenia nastąpił od lat 70. XX w., kiedy zaznaczyło się odprężenie polityczne oraz ożywienie religijne. W latach 1973–1983 w Bydgoszczy znajdował się nowicjat dla braci, przeniesiony później do Chełmszczonki k. Fordonu. W 1975 r. erygowano polską prowincję zakonu, a w 1976 r. Wyższe Misyjne Seminarium Duchowne w Bydgoszczy.