Prawdopodobnie przy dekorowaniu wnętrz pałacu brał udział sztukator Jan Wolff, który pracował przy kościele w Czemiernikach i mauzoleum Firlejów przy kościele Dominikanów w Lublinie. W XVIII wieku zburzono cztery narożne baszty alkierzowe, zbudowano barokowy dach mansardowy, szczyty wolutowe, pałac otoczono płytką fosą z mostkiem prowadzącym do loggii. W połowie XIX wieku w miejsce wysokiego dachu zbudowano istniejącą do dzisiaj attykę neogotycką, zasypano fosę wokół pałacu i zamurowano arkady loggi.
Brama i Arsenał W 1622 roku zbudowana została brama zamkowa w stylu manierystycznym zwieńczona niską wieżą. Prowadziła do niej od strony miasteczka grobla. Nad wejściem do bramy umieszczono opiętą barokowym obramieniem zdobionym rolwerkami tablicę pamiątkową z łacińskim napisem ku czci fundatora biskupa Henryka Firleja. Prawdopodobnie przed bramą był most zwodzony. Pomiędzy bramą i pałacem pomiędzy latami 1620–1629 zbudowano długi prostokątny późnorenesansowy budynek określany jako "arsenał" lub wozownia. Budynek ten jest starszy niż mur zachodni.