Wejście do niej znajduje się od strony północnej na wysokości drugiej kondygnacji. Obok niej znajdowała się brama prowadząca na dziedziniec zamkowy, otoczony murami obwodowymi. Od strony północno-zachodniej dziedziniec zamykał murowany dom. W nim znajdowała się sala sądowa i inne dwa pomieszczenia, w których przechowywano księgi grodzkie. Pozostałe budynki dla służby i zabudowania gospodarcze były drewniane. Zamek przed spaleniem otoczony był fosą, przez którą prowadził most z poręczami. Zamek użytkowany był do 1785 roku i potem powoli przemieniał się w ruinę. W roku 1843 został rozebrany. Był to element świadomej polityki niszczenia przez zaborcę polskich dóbr. Zachowała się jednak baszta zamkowa. W roku 1960 została odrestaurowana i zaadaptowana do celów muzealnych oraz wystawowych. Jest ona również punktem widokowym, z którego podziwiać można panoramę miasta. Na dziedzińcu zamkowym organizowane są z kolei imprezy plenerowe.
Klasztor pobernardyński mały|Klasztor s. nazaretanek