Architektura Zamek przylega jednym bokiem do rozległego stawu. Głównym elementem zabudowy zamku była wieża mieszkalna na planie prostokąta (zachowana do dzisiaj w dolnych partiach obecnego pałacu z XIX wieku), którą przyrównuje się w jej pierwotnej postaci do wieży Zygmunta I Starego w Piotrowie Trybunalskim. Do wieży przylegał czworobok murów obronnych z murowaną jednopiętrową wieżę bramną, do której prowadził most zwodzony. Zamek od miasta oddzielony był suchą fosą i ziemnym wałem z palisadami. Według relacji zamek różnił się od innych zwykłych zamków odrębną strukturą, miał bowiem kształt warowni, którą Włosi nazywają >casaforte<.
Pierwotny budynek mieszkalny zachował się w dolnych partiach obecnie istniejącego klasycystycznego pałacu i stanowi jego wysuniętą do przodu część środkową. Od strony miasta budynek ma trzy kondygnacje i pięć od strony stawu (ze względu na spadek terenu), z czego dwie dolne są sklepionymi kazamatami z XVI wieku. W późniejszym okresie budynek Tarnowskich rozbudowano po bokach. Pod zamkiem miały się rozciągać długie, murowane lochy.