W czasie konfederacji barskiej w zrujnowanym zameczku, którego część jeszcze w 1780 r. była zamieszkana, przebywali jakiś czas konfederaci i Antoni Pułaski. Po tych wydarzeniach zamek chylił się ku upadkowi zamieniając się w ruinę. Napoleon Orda narysował zamek, będący już w ruiniehttp://www.castles.com.ua/pan.html Zdjęcie na portalu Castles.ua, z błędnym podpisem głoszącym o białoruskim podróżniku, Napoleonie Ordzie..
Architektura thumb|left|Paniowce Obronny zamek w XVI w., o grubych ścianach, kilku dziedzińcach, ogromnych podziemiach, otoczony głębokimi fosami, był budowlą powstałą na planie kwadratu o bokach długości 85 m. Nad brzegiem stał dwupiętrowy budynek mieszkalny, tworzący bok zamku. Na dwóch końcach budynku znajdowały się kwadratowe baszty o bokach długich na 12 m. Naprzeciw również stał budynek tworzący bok zamku z dwupiętrową basztą bramą. Po lewej stronie bramy była kwadratowa wieża z kaplicą kalwińską. Wieża górą była ośmioboczna. Pod koniec XIX wieku pozostały tylko ruiny zamku w postaci olbrzymich ścian, narożników ze śladami wież i wały ziemne. Na miejscu dawnej akademii były stajnia i wozownie. W ścianach znajdowały się kawałki marmurów z napisami, a na zewnątrz dawnej świątyni kamień z dziesięciorgiem przykazań, pamiątka po kalwinach. Kaplica była jakiś czas wykorzystywana przez katolików, a w XIX w.