W 1870 r. Rytel otrzymał linię kolei dwutorowej i ekspedycję pocztową, zamienioną w 1885 r. na stałą pocztę. W 1899 r. zakończono budowę szkoły z czerwonej cegły (obecnie siedziba gimnazjum). W 1885 r. mieszkało w Rytlu 605 katolików, 57 ewangelików i 9 Żydów. W 1891 r. Niemiec N. Splet wybudował w Rytlu drugi tartak i młyn parowy, sprzedając później całość Kreńskiemu. Dwa lata później rozparcelowano majątek Klińskiego z Kłodni, położony na prawym brzegu Brdy. Z parcel skorzystali mieszkańcy Rytla.

Gmina ewangelicka w 1891 r. wybudowała dla swoich parafian drewnianą kaplicę, a w 1909 r. kościół murowany, który w latach powojennych służył jako magazyn sklepu przemysłowego GS-u. Kościół ten został rozebrany w latach 1968–1970, a cegły z rozbiórki wykorzystano do rozbudowy szkoły podstawowej. W latach 1897–1899 wybudowano kaplicę katolicką z drewna. 15 września 1899 r. utworzono w Rytlu nową parafię, której pierwszym proboszczem został ks. Antoni Ignacy Marian Kowalkowski, dotychczasowy wikary z Czerska (wcześniej w Więcborku i Pucku), autor pieśni „Prośba dziecka” („Kiedyś o Jezu chodził po świecie”) z 1915 oraz „s:Pan Jezus już się zbliża” z 1925. W latach 1909–1911 w miejsce drewnianej kaplicy wybudowano neobarokowy, masywny kościół z wieżą, pod wezwaniem NMP Królowej Różańca Świętego.