Budowniczym w stylu barokowym był również Carlo Rossi. W tym czasie zlikwidowano umocnienia zamku od strony miasta, a w ich miejsce założono ogród. Teren ten z czasem zmieniał funkcje i przekształcił się w Plac Zamkowy. Za rządów Jakuba Sobieskiego zamek otrzymał nowe wyposażenie wnętrz i miał bardzo prestiżowy charakter. Po opuszczeniu Oławy przez królewicza w 1734 roku obiekt zaczął podupadać. Za czasów pruskich był tu lazaret i piekarnia. Najbardziej zdewastowany gmach Chrystiana rozebrano i w latach 1833–1835 powstał w jego miejsce kościół katolicki według projektu Karla Friedricha Schinkla, natomiast kościół w północnym skrzydle przerobiono na browar. We wschodnim skrzydle obszaru zamkowego urządzono koszary, później zaadaptowane na fabrykę cygar. W gmachu Luizy powstała szkoła, obok której postawiono niewielki budynek wartowni koszarowej – odwachu (dzisiaj tzw. tajwan), a na początku XX wieku wieżę ciśnień, degradując tym samym całkowicie reprezentacyjny charakter kompleksu zamkowego.
W czasie II wojny światowej najbardziej ucierpiał gmach Luizy.