W latach 1301–1368 za panowania książąt Bernarda świdnickiego i Bolka II Małego (od 1353 r.) zamek został powiększony. Według historyków od czasów Bolka II, przez około 100 lat, zamek pełnił funkcję skarbca, który później został przeniesiono do Pragi.

Bolko II był bezdzietny, dlatego adoptował córkę zmarłego brata Henryka (1343 r.), Annę i ustanowił ją dziedziczką księstwa. 27 maja 1353 r. odbył się ślub Anny z królem czeskim Karolem IV. 3 lipca zapisał Bolko II Annie i Karolowi IV księstwa, warunkiem było to, że do swojej śmierci będzie mógł nimi władać, tak samo jak jego żona księżna Agnieszka Habsburska. W 1392 r. zamek przeszedł na własność królów czeskich. Do tego roku najprawdopodobniej od czasów Bolka I zamek pełnił rolę skarbca. W czasie napadów husytów miasto zostało zniszczone, ale zamek nie został zdobyty.