Budowa została ukończona około 1565 roku.
Zamek rozbudowano około lat 1610-1630 z inicjatywy podskarbiego wielkiego koronnego Jana Firleja (zm. 1615) lub wojewodę sandomierskiego Mikołaja Firleja (zm. 1636). Zbudowano wtedy nowe skrzydło północne, tworząc już założenie nie zamkowe, ale pałacowe. Całość zwieńczona była attyką. Po obu stronach elewacji znajdowały się dwie sześcioboczne wieże, z których jedna zachowała się do dzisiaj. Przypuszczalnie w jednej znajdowała się biblioteka, a w drugiej kaplica. Skrzydło po stronie północnej zostało podwyższone. Od strony wschodniej zbudowano reprezentacyjną galerię arkadową. Zarówno galeria, jak i baszta północno-zachodnia (najbardziej reprezentacyjne) pokryte zostały dekoracją tzw. typu lubelskiego. Obok rezydencji został założony ogród włoski.
Pałac zaczął ulegać rujnacji już w końcu XVII wieku, gdy Firlejowie zaczęli ubożeć i tracić wpływy polityczne. Prawdopodobnie w wyniku pożaru przed 1694 rokiem lub przed 1669, w czasie sporu Mikołaja Firleja ze swoją ciotką Zofią z Tarnowskich, pałac został spustoszony. W 1694 roku sporządzono opis zniszczeń dokonanych w pałacu. Pałac na początku XVIII wieku został splądrowany przez Szwedów i dalej popadał w ruinę. W międzyczasie zmieniali się jego właściciele.