Znacząca rozbudowa zamku nastąpiła za panowania Sobiesława I (który postanowił przenieść siedzibę książąt przemyślidzkich na powrót z Wyszehradu na Hradczany) oraz jego bratanka i następcy Władysława II (drugiego króla Czech) – w połowie XII stulecia. Ich dzieło kontynuował król Przemysł Ottokar II, który był w swoim czasie jednym z najważniejszych władców Europy i rozmach prac budowlanych na zamku odpowiadał tej pozycji. Ottokar w pierwszych latach skupił się na udoskonaleniu fortyfikacji, zwłaszcza od najbardziej wrażliwej strony zachodniej. Rowy poszerzono, a bramę w Czarnej Wieży na wschodzie zlikwidowano. Pałac królewski przebudowano na potrzeby reprezentacji i mieszkania.
W 1303 zamek został zniszczony przez pożar. Jego odbudowę rozpoczęto właściwie dopiero pod panowaniem królów czeskich z dynastii Luksemburgów. Gdy w 1333 wrócił z Francji syn podówczas panującego w Czechach Jana Ślepego, Karol (późniejszy król czeski i cesarz rzymski), rozpoczął on prace na opustoszałych i zniszczonych Hradczanach. Zapoczątkowano wówczas budowę dwupiętrowego, okazałego pałacu, która jednak ciągnęła się jeszcze długie lata, a ostateczny kształt zawdzięcza wkładowi wielu władców Czech. Za panowania Karola wzniesiono sporą część pałacu wraz z kaplicą Wszystkich Świętych autorstwa Petera Parlera (spłonęła w pożarze 1541).