Pod koniec XVI wieku ostatecznie wybudowano oddzielny dom dla potrzeb magistratu. Początkowo był to drewniany dwupiętrowy budynek, którego fasadę zdobiła otwarta galeria z ławami handlowymi. Jednak pożar w 1602 r. zniszczył go, dlatego w 1604 r. na rozkaz króla Zygmunta III ratusz odbudowano w kamieniu. Nowy budynek był kamienny, z wysokim szczytem i głębokimi piwnicami, które służyły za więzienie. Podczas tureckiej okupacji miasta w latach 1672-1699 ocalał budynek ratusza, który jednak w związku z zakończeniem działalności magistratu został zamieniony na cerkiew.
W 1790 r. zlikwidowano magistrat ormiański, a budynek ratusza przebudowano w celu przystosowania go do innych potrzeb, w szczególności do kwaterowania wojsk garnizonu kamienieckiego. Na początku XIX w. znajdowała się tam wartownia (arsenał amunicyjny), później na pierwszym piętrze ulokowano więzienie, na drugim milicję miejską, a na trzecim Izbę Karną.
W drugiej połowie XIX w. w starym budynku dawnego ratusza mieściły się różne instytucje gubernialne, początkowo – urząd gubernatora i Zakon Opieki Publicznej, później i do 1917 r.