W roku 1776 pomieszczenia nad bramą zaadaptowano na potrzeby szkoły elementarnej, a w II połowie XIX wieku przekazano szkole dla dziewcząt.
Bramę kilkakrotnie usiłowano rozebrać, jednak za każdym razem natrafiano na opór mieszkańców. Najbliżej powodzenia była próba z 1907 roku. Wówczas przed rozbiórką Kamienną Bramę uratowało stowarzyszenie kulturalne o nazwie Bracia Chorwackiego Smoka (Braća hrvtskoga zmaja). W przejętych od miasta pomieszczeniach nad bramą, utworzyło ono miejską Bibliotekę Miejską, Archiwum Historyczne Zagrzebia oraz Muzeum Miasta Zagrzebia. Bractwo do dziś ma swoją siedzibę w budynku bramnym.
Kamienna Brama została opisana w wydanej w 1871 roku pierwszej chorwackiej powieści Augusta Šenoi pt. Córka złotnika (Zlatarevo zlato). Opowiada on o mieszkającym przy ulicy Kamenitej złotniku Petarze Krupiciu i jego córce Dorze. Fakt ten upamiętnia pochodząca z 1929 roku figura Dory Krupić, umieszczona w niszy przy zachodnich wrotach. Pomnik jest dziełem zmarłego w 1953 roku rzeźbiarza Ivo Kerdicia.