W 1520 roku wojska polskie przez około miesiąc stacjonowały pod Królewcem, nie podejmując jednak poważnego oblężenia zamku. Z okresem tym łączona jest rozbudowa umocnień zamku i miasta.
Rezydencja książęca W 1525 roku, w następstwie sekularyzacji państwa zakonnego, Albrecht Hohenzollern został księciem Prus. Zamek utracił funkcję siedziby władz zakonnych i rozpoczęto jego stopniowe przekształcanie w nowożytną rezydencję książęcą.
W 1532 roku przebudowano lub wzniesiono od nowa budynek bramny we wschodniej części przedzamcza. Następnie, do 1569 roku, powstawały wschodnie i północne skrzydła przedzamcza.
W latach 1584–1593 oraz 1600–1604 zachodnie mury średniowiecznego domu głównego włączono w nowo wznoszone skrzydło margrabiego Jerzego Fryderyka. W jego obrębie powstał nowy kościół zamkowy o długości około 82 m, a nad nim wielka sala audiencyjna określana jako Sala Moskiewska. Jednocześnie rozebrano południowe skrzydło dawnego gotyckiego domu konwentualnego.