Nowy właściciel ziemi chcąc się zabezpieczyć na wypadek zagrożenia, wzniósł na północnym krańcu wsi niewielki gród. Usytuowano je w zakolu strumienia, wśród podmokłych łąk, a więc w miejscu niedostępnym i trudnym do zdobycia. Dziś ocena walorów obronnych tego miejsca jest utrudniana z uwagi na zniekształcenia i zmiany w krajobrazie dokonane przez człowieka na przestrzeni wieków. Mimo tych zmian, uchwytne są częściowo zasadnicze cechy terenu, które podyktowały budowniczym średniowiecznych warowni wybór miejsca na budowę tego wybitnie nizinnego grodu.
W rękach rodziny Kozłowskich miejscowe dobra utrzymały się do końca wojny trzydziestoletniej. W czasie najazdu Szwedów Kozłów wybrany został na główny obóz ponad 20–tysięcznej armii duńskiej, pozostającej pod wodzą generała Ernesta Mansfelda. Rozległe dobra kozłowskie nie pokrywały potrzeb zaopatrzeniowych wojska. Miejscowi chłopi, których zmuszono i do pracy na roli i do różnych posług w obozie a ponadto napadano i rabowano, potajemnie opuszczali swe gospodarstwa, przenosząc się wraz z rodzinami na inne tereny, gdzie nie było wojsk najeźdźczych. W odwet żołdacy Mansfelda palili zabudowania, zniszczyli też dwór Kozłowskich. Wizerunek ostatniego z rodu zachował się do dziś na płycie nagrobnej w kościele w Kozłowie.