Wojna polsko-krzyżacka przyniosła zagładę grodu w Wyszogrodzie. Krzyżacy nie tylko zrównali gród z ziemią, ale w dodatku nie dopuścili do jego odbudowy. W tej sytuacji po zakończeniu okupacji krzyżackiej i zwrocie terenów Polsce w 1337 r. kasztelania wyszogrodzka została zlikwidowana, a jej terytorium powiększyło kasztelanię bydgoską. Jednakże w kontekście zaniku urzędu kasztelana wyszogrodzkiego w 1314 r. być może już wtedy zastąpił go urzędnik bydgoski.
Kasztelanowie wyszogrodzcy bydgoscy Wyszogród w ciągu kilkuset lat swego istnienia kilkukrotnie zmieniał przynależność terytorialną między Pomorzem (1188-1242, 1271-1289), Kujawami (1242-1271, 1296-1330), a Wielkopolską (1113-1188, 1289-1296)możliwe, że w XII w. również Mazowszem. W związku z tym poszczególni kasztelanowie wyszogrodzcy byli mianowani przez książąt różnego pochodzenia. Do kasztelanów „pomorskich” można zaliczyć: Arnolda, Domasława Chrośnica, do „wielkopolskich”: Niemierzę i do „kujawskich”: Boguszę z Kościelca i Jana z Płonkowa.