Ceglana budowla otaczała miasto jedynie od południa, gdyż z pozostałych stron obronę stanowiły cieki wodne: Fosa zamkowa, Brda, Młynówka i rozlewiska Wyspy Młyńskiej. Od wschodu Bydgoszcz osłaniał zamek z własnym systemem fortyfikacji. Między miastem a zamkiem na początku XVII wieku wzniesiono parkan, czyli masywnie zbudowaną drewnianą ścianę, zaopatrzoną w strzelnice i dla obrony przed ogniem oblepioną gliną. W drugiej połowie XVII wieku, gdy zamek był już ruiną, tuż obok parkanu zbudowano wał ziemny, od Bramy Kujawskiej do Brdy.
Osobnym zagadnieniem są fortyfikacje otaczające kompleks klasztorny karmelitów oraz zespół spichrzy miejskich, które były jednocześnie elementem obrony miasta od północy. W tamtejszy kompleks wtopiona była Brama Gdańska.
W 1547 roku zanotowano wielki pożar miasta, w którym zniszczone zostały m.in. bramy miejskie. Zachowane rozliczenia finansowe dowodzą, że odbudowa murów i bram zakończyła się pod koniec XVI wieku.