W 1370 roku Kazimierz Wielki podarował Dobrzyń Kaźkowi Słupskiemu, księciu szczecińskiemu, po śmierci którego w 1377 roku zarządzała Dobrzyniem wdowa po Kaźku, księżna Małgorzata mazowiecka.
W 1378 z woli króla Ludwika Węgierskiego tutejszy zamek został przekazany w lenno Władysławowi Opolczykowi. Być może wzniesiono na jego terenie murowaną wieżę (jakąś wieżę wzmiankowano na terenie zamku w pierwszej połowie XV w.). Gdy Władysław Opolski bezprawnie zastawił zamek w Bobrownikach zakonowi krzyżackiemu dokonując czynu felonii, spowodowało to reakcję militarną ze strony Jagiełły. Z jego rozkazu w sierpniu 1391 roku Krystyn z Ostrowa zajął m.in. ziemię dobrzyńską z Dobrzyniem i Rypinem, jednak wkrótce wycofał się, gdy pod miasto podeszły silniejsze siły krzyżackie pod dowództwem wielkiego mistrza krzyżackiego. W lipcu 1392 r. Władysław Opolczyk zastawił Krzyżakom za 50 tys. florenów węgierskich swoje prawa do ziemi dobrzyńskiej z zamkiem w Dobrzyniu. Z zachowanych rachunków wynika, że Krzyżacy wzmocnili go przeznaczając na ufortyfikowanie zamku 6 tys. florenów. W 1401 wzmiankowano budowę drewnianego budynku na potrzeby braci zakonnych. W 1405 roku na mocy Pokoju w Raciążku zawartego przez Jagiełłę z Krzyżakami, zamek w Dobrzyniu i ziemia dobrzyńska zostały wykupione z zastawu u Krzyżaków za 50 tys.