XVII w. nie był dla zamku zbyt łaskawy: zniszczenia w wyniku pożaru zamku w 1629 r. i później najazdu szwedzkiego z lat 50., rozpoczęły stopniowy proces upadku Lipowca. Innym czynnikiem powodującym powolny zmierzch budowli była jego przestarzałość jako obiektu mieszkalnego, nie spełniającego już wymogów barokowych rezydencji – tym samym Lipowiec przestał już być siedzibą biskupów krakowskich, którzy w pobliżu niego wznieśli nowy, drewniany dwór, który miał spełniać tę funkcję.
Pożar, który wybuchł w sierpniu 1629 r., strawił znaczną część drewnianych zabudowań i dotknął głównie górną część zamku. Inwentarz z 1645 r. świadczy o znacznych rozmiarach zniszczeń, które starał się zniwelować biskup Jan Zadzik w latach 40. XVII w., będąc inicjatorem odbudowy i przebudowy przedzamcza, które miało głównie charakter gospodarczy.
Szwedzi zajęli Lipowiec 9 października 1655 r., ustanawiając w nim kwaterę główną m.in. z uwagi na kontrolę szlaku wodnego niedalekiej Wisły. Opuścili go dopiero latem 1657 r., paląc go na odchodnym. Zdewastowany i zaniedbany obiekt popadający w ruinę trwał tak do lat 30. XVIII w., gdy decyzję o jego odbudowie podjął biskup krakowski Konstanty Felicjan Szaniawski.