Powstanie zamku z inicjatywy biskupa włocławskiego Zamek wybudowano w całości za czasów Władysława Oporowskiego, najwybitniejszego przedstawiciela rodu i jednego z najznamienitszych dyplomatów swej epokiPoczet Prymasów Polski, Marceli Kosman, 1997, s.86. Pełnił urząd podkanclerzego koronnego na dworze Władysława Jagiełły, następnie biskupa włocławskiego, a potem także arcybiskupa gnieźnieńskiego i prymasa Polski, dzięki czemu miał fundusze na stworzenie okazałej budowli w swym rodzinnym mieście (Oporów miał już wtedy prawa miejskie). Budowa wymienianego w ówczesnych źródłach „castrum” trwała w latach 30. i 40. XV wieku, przez kilkanaście lat. Władysław w 1428 roku zobowiązał się do wybudowania zamku (a dokładniej, do „obmurowania rodzinnej siedziby”), zgodnie z ugodą, zawartą między swoim braćmi, czyli synami Mikołaja Oporowskiego w 1428 roku. Po śmierci ojca pierwotna budowla przypadła jego żonie, Krystynie, która nie była w stanie kontynuować prac, gdyż nie miała odpowiednich funduszy. Niedługo potem podzielono majątek między braci. Piotr Oporowski otrzymał rodzinną miejscowość i mógł doglądać budowy zamku, którą z kościelnej kasy fundował jego brat, Władysław. Wybudowanie zamku stanowiło okazję do podkreślenia świetności rodu.