Ponownie castrum wymieniono w 1412 rokuSłownik historyczno-geograficzny województwa krakowskiego w średniowieczu, cz. 1, z. 1, Wrocław 1980, s. 6.. W okresie późniejszym zamek określano już jako curia. Potem w rękach Stadnickich herbu Szreniawa i Trepków. W XVIII wieku był zamieszkany jeszcze przez rodzinę Ossolińskich ówczesnych właścicieli dóbr krzelowskich. Ossolińscy weszli w posiadanie dóbr Krzelów poprzez małżeństwo Krzysztofa Ossolińskiego, wojewody sandomierskiego z Zofią Cikowską. W inwentarzy z 1699 roku zamek opisano jako zniszczony i zamieszkany przez służbę folwarczną. Wejście prowadziło przez bramę na podwórze z zabudową gospodarczą. Głównym obiektem był murowany parterowy podpiwniczony budynek, otoczony z trzech stron gankami. Wewnątrz mieścił wielką salę oraz pięć innych izb mieszkalnych. Inwentarz z 1718 roku opisuje zamek jako zrujnowany.
Do Ossolińskich Krzelów należał do 1756 roku. Wtedy Michał Ossoliński, ojciec Józefa Maksymiliana, założyciela Zakładu Naukowego im. Ossolińskich we Lwowie, sprzedał te dobra Dominikowi Wielowieyskiemu.