Drewniany dwór Kmity zastąpiono około połowy XVI wieku murowanym kasztelem Stanisława Mateusza Stadnickiego. Była to ufortyfikowana budowla mieszkalno-obronna, czworokątna z wewnętrznym dziedzińcem. Mniej więcej w tych samych latach Stadnicki wybudował 120 metrów na wschód od kasztelu dom „Krasiczynek”, który rozebrano w drugiej połowie XIX wieku. Do 1611 trwały przebudowy zamku realizowane przez Stanisława Krasickiego i jego syna Jerzego. Dobudowano wówczas m.in. skarbczyk przy wschodniej ścianie skrzydła północnego. Za Krasickich obok zamku zbudowano wolnostojące oficyny i założono park angielski. Stanisław Konarski dobudował taras z podjazdem od południa, gdzie zlokalizował główne wejście. Od zachodu, pod kątem prostym, dostawił długą, parterową oficynę z basztą i alkierzem. Od tego czasu zamek przestał być budowlą obronną, a stał się rezydencją. W 1788 powstała oranżeria, a w jej sąsiedztwie tzw. chałupka w ogrodzie oraz izdebka na promenadzie. Obiekty gospodarcze istniały w przeszłości poza ogrodzeniem, od zachodu.