Zamek właściwy miał dwa duże skrzydła (północne, zwane Głównym, oraz wschodnie), a także dwa skrzydła parterowe. Krużganki znajdowały się jedynie przy skrzydle północnym i wschodnim. W skrzydle północnym mieściła się kaplica i kapitularz, a w skrzydle wschodnim dormitorium i refektarz. Charakterystyczną i nietypową dla zamków krzyżackich cechą obiektu w Świeciu były cztery narożne, cylindryczne wieże wskazujące na inspirację francuskimi kasztelami, być może związaną z nadreńskim pochodzeniem dwóch budujących zamek komturów. Trzy wieże miały wysokość murów zamkowych, ale jedna z nich – o wysokości 35 metrów, dostępna jedynie kładką na wysokości kilkunastu metrów – miała cechy wieży ostatecznej obrony (bergfriedu). O strategicznym znaczeniu twierdzy może świadczyć fakt, że już w 1377 roku wyposażono ją w broń palną; był to wtedy drugi chronologicznie krzyżacki zamek (po Lipienku).
Podczas wielkiej wojny z Polską (w latach 1409–1411) funkcję komtura Świecia pełnił Heinrich von Plauen, który w 1410 roku został wielkim mistrzem Zakonu Krzyżackiego, a następnie Michael Küchmeister von Sternberg (w przyszłości również wielki mistrz).