Andrzej Tęczyński miał wejść w konflikt z mieszczanami krakowskimi, za pobicie płatnerza, który miał źle wykonać zamówioną przez Tęczyńskiego zbroję. Za udział w zabójstwie Andrzeja Tęczyńskiego sześciu rajców krakowskich zostało straconych, a trzech przebywało w lochu zamku rabsztyńskiego do czasu, aż Kraków wypłaci zadośćuczynienie za Andrzeja. W rękach Tęczyńskich zamek wraz z przyległymi dobrami pozostawał do roku 1509, kiedy zmarł Andrzej Rabsztyński z Tęczyna, kanonik krakowski i starosta płocki i wraz z nim wymarła cała linia Rabsztyńskich.
W 1511 za sumę 4 tys. florenów zamek przejął podskarbi wielki koronny Andrzej z Kościelca. Po jego śmierci w 1515 roku, zamek otrzymał w dzierżawę pochodzący z Alzacji krakowski bankier Jan Boner i w ten sposób majątek znalazł się w rękach Bonerów, którzy przez cztery pokolenia sprawowali urząd starostów rabsztyńskich. Około 1523 roku zamek objął jego bratanek Seweryn Boner, posiadający już Ojców, a wkrótce także Ogrodzieniec. Po jego śmierci w 1549 roku zamek objął jeden z jego synów, także Seweryn. W 1573 r. Seweryn Boner młodszy gościł na zamku króla Henryka Walezego. W 1587–88 podczas kampanii antyhabsburskiej dowódcą załogi był Gabriel (Hawryło) Hołubek, rotmistrz kozacki w służbie polskiej.