Folwark dworu mieścił się do 1553 roku w odległości ok. 400 m od rezydencji w górę rzeki Jaskranki, jednak zbyt bliskie sąsiedztwo zabudowań dworskich spowodowało, że folwark przeniesiono w rejon dzisiejszego miejsca określanego jako Knyszyn Zamek, które leżało w dolnej części rzeki.
Po śmierci Zygmunta Augusta nadszedł okres degradacji folwarku spowodowanej m.in. walkami między Janem Zamoyskim a starostą knyszyńskim Stefanem Bielawskim, który był prawnym posiadaczem folwarku. Ostatecznie w 1577 r. posesorem dóbr knyszyńskich został Jan Zamoyski, który podjął rozbudowę folwarku. Po 1601 r. Zamoyski zbudował nowy murowany dwór dla starosty, usytuowany w sąsiedztwie drewnianego dworu wzniesionego w 1554 r., przy północnym narożniku ogrodu. Po Janie Zamoyskim starostwo knyszyńskie dzierżyli kolejno: jego syn Tomasz Zamoyski (do 1638 r.), Paweł Niewiarowski (1638-1645), Stanisław Witowski (po 1645 r.) oraz Mikołaj i Katarzyna Ossolińscy (do 1663 r.).