Liczba ludności miasta, a wraz z nią przedmieścia Koźlin, mimo licznych wojen i epidemii, systematycznie wzrasta. W 1579 roku znajdowało się w Starym Mieście Braniewie 275 domów i siedem bud pod ratuszem, a na przedmieściu Koźlin stało już 99 domówStanisław Achremczyk Braniewo i jego mieszkańcy w czasach nowożytnych Studia Warmińskie 40, 395-405 2003.
Zabudowa i mieszkańcy przedmieścia byli jednak narażeni na wiele niebezpieczeństw. Koźlin trawiony był wiele razy przez pożary. 10 lipca 1626 podczas marszu wojsk króla Gustawa na Braniewo przedmieście Koźlin zostaje spaloneBraunsberg im Schwedenkrieg von Dr. Franz Hipler w ZGAE Achter Band, Braniewo 1886, s. 114. 10 maja 1669 wybucha kolejny wielki pożar stodół na Koźlinie, zmieniając dzielnicę w pogorzelisko. 27 maja 1700 wybuchł w domu rozrywki (Lusthaus) należącym do związanego z radą miasta Georga Lunitza pożar, który objął jeszcze 7 innych domów leżących nad Pasłęką. Pożar ten miał jednak pewne pozytywne następstwa, gdyż postanowiono wówczas, że mieszkańcy dzielnicy mają pokryć wszystkie domy dachówką zamiast strzech, a także zatrudnić kominiarza. Kolejne wielkie pożary na przedmieściu wybuchały jeszcze w latach 1845 i 1861.lewo|mały|Koźlin (Vorstadt Cöslin), 1893|240x240pxW 1772 roku, na skutek I rozbioru Polski, Braniewo znalazło się w granicach Królestwa Prus.