W 1426 roku zamek znalazł się we władaniu sławnego rycerza Zawiszy Czarnego (wg heraldyka Adama Bonieckiego od Piotra z Kurowa za 1000 grzywien Rożnów, Gródek z dziewięciu wsiami nabył Zawisza z Brzegów zwany CzerwonymAdam Boniecki: Herbarz polski: wiadomości historyczno-genealogiczne o rodach szlacheckich. Cz. 1. T. 5. Warszawa: Warszawskie Towarzystwo Akcyjne S. Orgelbranda S[yn]ów), 1902, s. 367.Kolejnym właścicielem wsi był ród Wydżgów.
W drugiej połowie XV wieku wieś przechodzi w ręce rodu Tarnowskich. Jego wybitny przedstawiciel, hetman wielki koronny Jan Amor Tarnowski, rozpoczął przed 1568 rokiem – w innym miejscu, przy drodze Rożnów-Tropie – budowę drugiej twierdzy w tej miejscowości, dlatego zamek Rożenów został opuszczony i popadł w ruinę. Nowa budowla, wznoszona w stylu renesansowym, była jedną z pierwszych w Polsce warowni o nowożytnej fortyfikacji obronnej. Jej budowa nie została nigdy ukończona; do dziś przetrwał beluard oraz mur kurtynowy z budynkiem bramnym.