Zajmujące siedem ha miasto zostało otoczone owalnym pierścieniem murów miejskich z dwiema bramami – Kamienną i Recką.
Wojny nie omijały Kalisza Pomorskiego. W wyniku walk między Brandenburgią, Zakonem Krzyżackim i Polską, miasto było wielokrotnie niszczone. Od 1373 we władaniu Korony Czeskiej, której władcy z czasem usiłowali sprzedać region jako peryferyjny. W 1402 zawarto w Krakowie porozumienie w sprawie sprzedaży miasta i regionu Polsce, jednakże sprzedano je ostatecznie Krzyżakom, do których należało do 1455, kiedy znalazło się w granicach Brandenburgii. W czasie wojny polsko-krzyżackiej w latach 1433–1435 miasto znajdowało się w rękach polskich.
Wobec wzrostu znaczenia szlaku Myślibórz – Tczew, od XV wieku w mieście nastąpił istotny rozwój handlu i rzemiosła, w tym dynamiczny rozwój sukiennictwa.
W XVI wieku ogromną popularność zdobył w mieście protestantyzm, co ostatecznie przesądziło o niemieckim obliczu kulturowym miasta.