Było to nieregularne, trapezowate założenie, w którym głównym elementem i dominantą było masywne skrzydło południowe z bramą wjazdową prowadzącą na dziedziniec. Zamek składał się z rozmieszczonego na niższym tarasie od strony miasta przedzamcza i położonego wyżej właściwego zamku na rzucie nieregularnego czworoboku. Reprezentacyjne pomieszczenia mieściły się na piętrze w skrzydle południowym, m.in. kaplica ze słynnym malowanym Poliptykiem Grudziądzkim z końca XIV w. Skrzydło zachodnie, od strony rzeki, pełniło funkcje mieszkalne, a wschodnie gospodarcze. W narożniku północno-zachodnim była usytuowana wysoka cylindryczna wieża obronna zwana Klimkiem. Wieża pełniąca funkcję stołpu i punktu obserwacyjnego miała 30 m wysokości, a wejście do niej prowadziło z murów na wysokości około 13 m przez zwodzoną kładkę. Pełniła również rolę więzienia. W 1338 r. część zabudowań od strony Wisły osunęła się do rzeki. thumb|200px|left|Klimek – wieża zamkowa w Grudziądzu w końcu XIX w. Po bitwie grunwaldzkiej w 1410 r. zamek był przejściowo zajmowany przez wojska polskie. W 1454 r. został szybko zdobyty przez siły Związku Pruskiego. Po inkorporacji Prus Królewskich do Polski został siedzibą starostów grudziądzkich, jednak mimo to dość często wymagał remontów.