Zamek biskupi mały|left|Zamek we Włocławku na rysunku Abrahama Boota, wykonany pomiędzy 1627 a 1628 rokiem. W miejscu zniszczonego w 1329 roku grodu biskup kujawski Maciej Pałuka z Gołańczy polecił zbudować zamek obronny, który był następnie rozbudowywany przez jego następcę i krewnego biskupa Zbyluta Pałukę z Wąsosza. Zamek zbudowany przypuszczalnie w latach 1330-1339 był otoczony murem i wjeżdżało się do niego od strony zachodniej po moście nad rzeką Zgłowiączką. Zamek rozbudowano w drugiej połowie XIV wieku. W 1373 roku zamek zdobyły i na krótki okres utrzymały oddziały księcia Władysława Białego.
W czasach biskupa Stanisława Karnkowskiego (1567 – 1581) zamek rozbudowano oraz urządzono nowy wyjazd po przeciwnej stronie niż poprzednio, od wschodu tj. od strony miasta. Pierwotny most był położony zbyt nisko i często był zalewany przez wodę, dlatego biskup Stanisław Karnkowski zbudował nowy wyższy most oparty o kamienne filary. Most prowadził przez dwie bramy, pierwszą drewnianą oraz drugą dwupiętrową murowaną z mostem zwodzonym. Biskup Karnkowski polecił też zbudować dwupiętrowy Dom Duży z ryzalitem wieżowym od wschodu oraz wystawić w jednym z narożników wieżę zwieńczoną hełmem. Od strony Wisły powstał piętrowy budynek. Przy każdej z bram stał jednopiętrowy budynek, w którym mieściły się m.in.