Kolejne ataki na zamek przeprowadzono w 1520 w czasie wojny pruskiej, kiedy zamek zaatakowały wspierające Krzyżaków wojska Dytrycha Schoenberga. Odtąd zamek był w rękach polskich aż do rozbiorów, a Człuchów od 1466 stał się miastem królewskim. Z ramienia Królestwa Polskiego na zamku rezydował starosta królewski wraz z załogą. Wśród starostów występowali przedstawiciele najsłynniejszych polskich rodów, takich jak Wejherowie, Sanguszkowie i Radziwiłłowie. W 1627 bezskutecznie próbowali zdobyć zamek Szwedzi. W czasach Potopu Szwedzi nie potrafili zająć zamku od wczesnej jesieni 1655 i udało im się to, dopiero gdy wykorzystali zimą zamarznięte wody jeziora, dzięki czemu udało im się wedrzeć na zamkowe mury. Po zakończeniu wojny zamek z powrotem trafił w polskie ręce.