W 1683 roku podczas wyprawy wiedeńskiej w specjalnie wybudowanej kaplicy odpoczywał król Jan III Sobieski.
W końcu XVII wieku pałac został własnością Kraśnickich, od tej pory często zmieniał właścicieli i z biegiem czasu stopniowo pogarszał się jego stan.
Na początku XIX w. pałac uległ ruinie. Ówcześni właściciele, rodzina Martinich, przeprowadzili remont pałacu rozbudowując oficyny i budując teatr. Niezbyt fortunnej przeróbki dokonali około 1837 roku Podczaccy, którzy przerobili okna i rozebrali galerie. W 1863 w budynku pałacu mieścił się szpital polowy, co przyczyniło się do dalszej destrukcji zabytku. W 1867 r. kolejny właściciel Eugeniusz Lubomirski przeprowadził gruntowny remont i częściową przebudowę pałacu. Pałac powiększono o dobudówki, zbudowano skarpy przy murach i dodano galerie łączące pałac z wieżami. Na początku XX wieku przebudowano wnętrza, nadając im neobarokowy charakter. Lubomirscy doprowadzili pałac do rozkwitu i zgromadzili tutaj dużo dzieł sztuki, stylowych mebli oraz wartościowy księgozbiór. Cenna była kolekcja 49 obrazów książąt i królów polskich. Zostały one przywiezione z Wiśnicza i z początkiem XX wieku znalazły się w górnej części boazerii reprezentacyjnej klatki schodowej pałacu. Większość z nich stanowiła kopie królewskich wizerunków malowanych przez Marcello Bacciarellego.