Dalsze losy W budynku tym mieszkali również goście Oporowskich, a w późniejszych latach także służba. Dwór funkcjonował, gdy stał już zamek. Mogli tam przebywać goście Władysława Oporowskiego – arcybiskupa gnieźnieńskiego, który miał wokół siebie liczne grono duchownych, orszak zbrojny, krewnych oraz urzędników i służbę.
Budowa zamku Pierwsze fortalicium Wzmianki o fortalicji w Oporowie pojawiały się w latach 1425, 1428 i 1428Archiwum Główne Akt Dawnych w Warszawie, Księgi ziemskie łęczyckie, ks. 9, k. 85v-86. Utożsamiana jest ona z wieżą mieszkalną, wybudowaną zapewne dzięki staraniom Mikołaja Oporowskiego. Był to budynek o wymiarach 8,3 na 9,6 m. Posiadał trzy kondygnacje, położony na wyspie (około 2 m niżej niż obecny teren wyspy zamkowej), otoczonej fosą, stał opodal dworu Oporowskich. Do budowy niższych partii użyto kamienia, a do wyższych cegły. Nie ma śladów po przyporach we wschodniej części obiektu, co ma świadczyć o tym, iż od początku planowano budowę większego założenia, jakim był zamek. Wejście do wieży usytuowano około 2 m nad otaczającym terenem i można się tam było dostać zapewne po drabinie.