Równocześnie wraz z zamkiem zbudowano pierścień murów obronnych otaczających miasto Caernarfon. Całkowity koszt prac budowlanych oscylował wokół 20,000–25,000 funtów. Budowę obwarowań ukończono w 1330 r. Pomimo dobrego stanu zachowania elewacji zewnętrznych zamku, część obiektów znajdujących się wewnątrz jest zrujnowanych, niektóre z nich nigdy nie zostały kompletnie wybudowane, co poświadczają zarysy fundamentów. Miasto i zamek zostały zdobyte i splądrowane w 1294 przez Madoga ap Llywelyn, dowodzącego buntem Walijczyków przeciwko Anglikom, którzy w następnym roku odzyskali Caernarfon. Podczas powstania Owena Glendowera (Glyndŵra) w 1400–1415, zamek był bezskutecznie oblegany. Po 1485 znaczenie miasta i zamku zmalało. W okresie Tudorów zlikwidowano wiele posiadłości rycerskich w Walii, zamek został opuszczony i popadał w ruinę.