Mściwój z Kozłowa przejął po ojcu Kozłów i okoliczne włości. Piotrowi Starszemu i Mściwojowi jest przypisywana konstrukcja lokalnej fortyfikacji, która miała służyć jako rezydencja lokalnych właścicieli ziemskich. Pierwsze wzmianki o rzeczonej siedzibie pochodzą z lat 1381 i 1394, gdzie wymieniany jest odpowiednio termin "curia" i "de curia", sugerujący istnienie funkcji kapelana dworskiej kaplicy w Kozłowie. Prawdopodobną przyczyną upadku tej rezydencji jest pożar, który wybuchł pod koniec XV wieku.
W źródłach występuje konflikt, kiedy dokładnie powstał i kto ufundował drugi kościół w Kozłowie. Z jednego źródła wynika, że stało się to w 1435 roku za sprawą niejakiego rycerza Mszczuja, a według drugiego wydarzyło się to w roku 1444 z patronatem Jakuba Lisa, oba źródła przyznają za to, że kościół był drewniany i był pod wezwaniem Wszystkich Świętych.