Trójcy i nieopodal zamek. W okresie XIV i XV w. Rypin trzykrotnie trafiał w ręce krzyżackie, odbijany przez Polskę. Dopiero po II pokoju toruńskim (1466) miasto – wraz z całą ziemią dobrzyńską – wróciło ostatecznie do Korony Polskiej (oznaczało to stabilizację polityczną i zanik granicy, więc i brak zagrożenia ze strony Krzyżaków ze względu na ponowne przyłączenie sąsiedniej ziemi chełmińskiej w granice Polski). Gdy ponownie znalazł się w granicach Polski, stał się miejscem w którym zbierał się sąd ziemski, jeden z trzech w ziemi dobrzyńskiej. Rypin pod koniec XVI w. liczył około 900 mieszkańców i posiadał trzy kościoły: parafialny św. Trójcy, św. Ducha, oraz św. Wojciecha, znajdujący się w miejscu obecnej kaplicy św. Barbary. W odległości ok. 2,5 km od miasta, w Starorypinie, znajdował się także murowany kościół Wniebowzięcia NMP oraz św. Piotra i Pawła. Spokojny rozwój trwał do XVII w., gdy najazdy szwedzkie zrujnowały Rypin, tak jak wiele innych miast. Nie oszczędziła go także wojna północna z lat 1700–1721. Miasto odżyło ok. połowy XVIII w., niewątpliwy wpływ na to miało osiedlanie się Żydów, którzy rozwijali miejscową gospodarkę. mały|left|Kościół ewangelicko-augsburski Po II rozbiorze Polski, w 1793 r., Rypin znalazł się przejściowo w granicach państwa pruskiego, by w 1807 r.