Na przełomie XIII i XIV wieku roku gród został przebudowany, prawdopodobnie przez księcia Henryka IV Probusa, na warowny zamek. Był on siedzibą kolejnych przedstawicieli śląskiej linii Piastów, którzy władali ziemią kłodzką, Henryka VI Dobrego (1327–1335) i Bolka II ziębickiego (1337–1341). Za czasów Jerzego z Podiebradów zamek stał się komfortową rezydencją, stanowiącą okazałą siedzibę władcy hrabstwa kłodzkiego. W jej skład obok pomieszczeń mieszkalnych wchodziła kaplica oraz kościół św. Wacława i św. Marcina. Wodę czerpano z pięciu studzien, najstarsza studnia pochodziła z 1393 roku i zwana była Tumską, a najgłębsza – Piekarska, znajdowała się w 60-metrowym szybie.

W latach 1557–1560 architekt Ernest Lorenz Kirschke rozbudował twierdzę o zamek średni i niższy. One to, wraz z zamkiem wyższym i fortyfikacjami miasta, stanowiły zespolony w jedno system obronny.