W XIX wieku zburzono mury obronne miasta, a wraz z nimi ostatnie wieże zamkowe i mur z bramą. Przebudowano także zachowany do dziś parter dawnego zamku. Ze względów na zły stan rozebrany został także budynek gospodarczy, a na jego fundamentach wzniesiono nowy istniejący do dziś. Czasy współczesne Do dziś zachowały się dwie kondygnacje (w tym piwnice) tzw. Domu Wielkiego, w którym mieści się plebania kościoła farnego pw. św. Jana. Zachowana grubość murów budynku dochodzi do 2,5 m. Od strony południowej widoczne jest pięć niewielkich gotyckich okienek doświetlających najniższą kondygnację oraz fragmenty kamiennego parapetu i obramienia okna z czasów renesansu. Od strony zachodniej odsłonięty jest w pełnej długości fragment kolejnego renesansowego okna. Na obu elewacjach podczas ostatniego remontu uczytelniono oryginalne wątki ceglane. Od strony zachodniej do budynku dostawiona jest rekonstrukcja częściowa muru miejskiego ustawiona na oryginalnym fundamencie kamiennym. Na fundamentach byłego budynku gospodarczego mieszczącego pierwotnie kuchnie i nazywanego „domem wedle bramy” (później „kamienicą starościńską”) w XIX wieku wniesiono do dziś istniejący budynek.