Zamek lipieński został zniszczony w wyniku ciężkich walk podczas potopu szwedzkiego w 1659 i już nie odbudowany, choć pozostawał zamieszkany jeszcze w 1765.
Starostowie lipieńscy (starostowie niegrodowi w woj. chełmińskim):
Wacław z Ledecza Czerwonka, w 1472 (także starosta kowalewski; posiadał zapis "na Lipnie") Mikołaj Kowalikowski i Reinhold Feldstedt (mieszczanin gdański), do 11.02.1511 Jan i Krzysztof Boroszewscy, znani także pod nazwiskiem Skarszewscy, 1511-1530 (także starostowie skarszewscy) Stanisław Kostka, 13.01.1530-12.1555 (śmierć; także wojewoda chełmiński i pomorski, kasztelan chełmiński i elbląski oraz podskarbi ziem pruskich; otrzymał w 1530 od króla "Lipno, Kotnowo, Małygrzegorz i Malankowo na prawie feudalnym", które odkupił od Skarszewskich a w 1543 dostał także Drzonowo i Strucfoń, jako "należące do grodu lipieńskiego"; w 1547 zapisał swojej żonie, Elżbiecie von Eulenburg, Lipno, Wieldządz i Strucfoń jako wiano); pochowany w kościele w Lisewie Jan Kostka, 12.1555-05.1581 (śmierć), syn poprzednika (także wojewoda sandomierski i kasztelan gdański);