Od rozkwitu do upadku Najdonioślejszą rolę w historii miasta odegrał Kazimierz Wielki, lokując je na prawie magdeburskim. Za jego sprawą powstał murowany zamek na planie prostokąta oraz kościół Narodzenia NMP. W latach 1355–56 na zamku w Żarnowcu król przetrzymywał swoją żonę Adelajdę z Hesji. Za jej wstawiennictwem ozdobiono freskami kościół św. Wojciecha. Sam król Kazimierz w latach 1341-1365 często przebywał na miejscowym zamku, na którym polecił zbudować nowy dom zamkowy, a w 1369 r. odnowił dawne przywileje i potwierdził prawa miejskie. W XIV w. Żarnowiec stał się ośrodkiem administracji terytorialnej. Działała tutaj komora celna, rozpoczęły się pierwsze jarmarki. W 1391 r. potwierdzone jest już istnienie powiatu sądowego. Kolejne lata to systematyczny rozkwit miasta. O dużym znaczeniu osady świadczy fakt, iż w uchwalonym podziale województwa krakowskiego obok powiatu krakowskiego i proszowskiego znalazł się również powiat żarnowiecki. Pod koniec XIV w. i w I poł. XV w. miasto było miejscem, w którym zbierał się sąd ziemski dla okolicznej szlachtyM. Pawlikowski, Sądownictwo ziemskie w przedrozbiorowej Rzeczypospolitej, Strzałków 2012.