Nie utrzymywano już stałej załogi, a pozbawiona regularnych napraw budowla zaczęła niszczeć.

Wbrew informacji powtarzanej w części starszych opracowań, w 1704 roku Wysoki Zamek nie był czynną warownią zdobytą i zniszczoną przez wojska szwedzkie. Gdy pod Lwów przybył Karol XII, zamek był już opuszczoną ruiną. Król szwedzki wszedł na wzgórze wraz z oficerami i z murów zamku rozpoznawał system obronny miasta. Na podstawie tej obserwacji wybrał słabiej broniony odcinek fortyfikacji miejskich, przez który następnie Szwedzi wdarli się do Lwowa.

Ostatnia lustracja starostwa lwowskiego z 1765 roku przedstawiała Wysoki Zamek już jako zaawansowaną ruinę. O zachowanych murach zapisano, że „sypią się i w oczach upadają”. Zachowany plan z około połowy XVIII wieku pokazuje liczne wyłomy, brak znacznej części zachodnich fortyfikacji oraz zanik niektórych wież.

Po I rozbiorze Polski w 1772 roku Lwów znalazł się w granicach monarchii habsburskiej. Ruiny dawnego zamku królewskiego przeszły pod zarząd administracji Austrii. W następnych latach rozpoczęto rozbieranie murów i wykorzystywanie pochodzącego z nich kamienia jako materiału budowlanego. W 1786 roku cesarz Józef II przekazał miastu tereny dawnego starostwa, w tym Górę Zamkową z ruinami zamku.