Istnienie tak długiej tradycji osadniczej badacze wiążą z położeniem Lutomierska na skrzyżowaniu ważnych szlaków handlowych, biegnących z Ukrainy na Wolin oraz z Pomorza Gdańskiego na Węgry.
Prawa miejskie otrzymał Lutomiersk 24 kwietnia 1274 od Leszka Czarnego, księcia sieradzkiego. Jest to jednocześnie pierwszy dokument potwierdzający istnienie miejscowości, znany z kopii z 1615. Władysław Łokietek w 1292 przyłączył do miasta wieś Wrzącą, a w 1311 nadał Lutomiersk Wacławowi z Lisowic z rodu Zarembów wywodzących się z Kalinowej. Przynajmniej jednak część miasta musiała wkrótce wrócić do włości królewskich, bo w 1406 Władysław Jagiełło nadaje połowę Lutomierska rycerzowi Przedborowi i jego synowi Janowi z Chełmicy za zasługi w bojach z Krzyżakami. Od nich to pochodzi ród Lutomierskich herbu Jastrzębiec.
Druga część miasta pozostała jednak w rękach Zarembów, ponieważ przed 1418 najprawdopodobniej Wacław z tego rodu wzniósł tu obronną siedzibę o charakterze zamku rycerskiego. Zamek ten z rąk Zarembów ok. 1460 trafia do Poddębickich, a ok. 1518, przez małżeństwo, dostaje się Grzymalitom Grudzińskim.