Dopiero za zakrętem Wisły pojawiała się sylwetka Zamku Warszawskiego.

Zgodnie z opisem Adama Jarzębskiego w jego dziele „Gościniec albo krótkie opisanie Warszawy” z 1643 r., wejście do zamku zdobiły cztery marmurowe lwy: I lwy cztery generalne, Między nimi, naturalne, Właśnie żywe wyrobione, A z marmuru są zrobione; Nie odlewane to rzeczy, Mistrzowską robotą grzeczy (2273–2278).

Zamek został splądrowany w czasie potopu szwedzkiego. Legenda głosi, że Carl Gustaf Wrangel kazał zbudować w Szwecji zamek zwany Skokloster na wzór Zamku Ujazdowskiego w Warszawie. W Skokloster przechowywanych jest wiele dzieł sztuki, które zostały zrabowane w Europie podczas XVII-wiecznych kampanii wojennych wojsk szwedzkich – znaczna część eksponatów pochodzi z terenów Rzeczypospolitej z tamtego okresuMarcin Jamkowski. Rozbójnik Europy i jego zamek. „Newsweek”, 17 września 2018, s. 76.. Po zniszczeniach z okresu potopu szwedzkiego zamek przestał pełnić funkcję rezydencji królewskiej.

W 1674 roku właścicielem pałacu stał się Stanisław Herakliusz Lubomirski, który kazał przebudować wnętrza, jednak bryła zamku nie uległa zmianie. Syn marszałka Teodor Józef Lubomirski wydzierżawił nieruchomość Augustowi II Mocnemu. W 1717 r. na polecenie Augusta II zbudowano pod pałacem Kanał Piaseczyński o długości 820 m.