W 1840 rozpoczęto remont i przebudowę zamku. Powiększono zachodnie skrzydło, położono nowy tynk, wybudowano wieżę zamkową. Przy zachodnim skrzydle wzniesiono dużą stajnię, tzw. masztalarnię. Trafiały do niej konie pełnej krwi angielskiej hodowane w Olszowej. Hrabia zlecił także urządzenie parku w stylu angielskim. Wybudowano w nim oranżerię, ananasarnię, bażanciarnię, neoklasycystyczną świątynię nawiązującą architektonicznie do starożytnej Grecji, wieżę Ischl. Planowane było wzniesienie zamku myśliwskiego inspirowanego architekturą średniowiecza. Do majątku należał także okazały budynek Dyrekcji Dóbr Hrabiowskich i tzw. czworaki dworskie.
Ostatni właściciele thumb|Widok na zamek z parkowej ścieżki
Kolejnymi właścicielami zamku byli wnukowie Andrzeja Renarda – Mortimer von Tschirschky, następnie Renarda Karl von Brühl i Georg von Schlieffen. Ten ostatni, z powodu braku możliwości dziedziczenia ziemi strzeleckiej przez swoje córki, po długich perypetiach zrzekł się jej na rzecz siostrzeńca Wolfganga zu Castell-Castell.