Z 1402 pochodzi zapis informujący, że na zamku zatrzymał się powracający z wyprawy na Litwę wielki komtur Wilhelm von Helfenstein, jego wojownicy prowadzili ze sobą ok. 900 jeńców. W latach 1402–1408 zamek ten Krzyżacy przeznaczyli na rezydencję dla księcia Bolesława Świdrygiełły (najmłodszego brata króla Władysława Jagiełły), który miał być koronowany na króla Litwy. Między Bezławkami a Litwą krążyli wysłannicy Świdrygiełły. Do Bezławek dotarł także goniec z Płocka z korespondencją od księcia Siemowita IV i jego żony księżnej Aleksandry Olgierdównej. W zamku była kaplica, którą obsługiwał wyznaczony dla Świdrygiełły kapelan krzyżacki.
Bezławki w XVI i XVII wieku należały do rodu von der Groeben. Właściciel Bezławek Otto von der Groeben odsprzedał część bezławieckich dóbr Stefanowi Sadorskiemu. Na terenie tym odbudowana została kaplica w Świętej Lipce.