Dzięki łatwemu uzyskaniu w 1392 roku przywileju od monarchy, rozpoczął on budowę zamku, ratusza oraz kościoła na Smagorzu, przekształcając go w miasto Zdzież (prawa miejskie). W 1395 roku Zdzież został już umocniony rowem oraz wałami ziemnymi.

Spory rodzinne między Henrykiem Zimnowodzkim a braćmi szybko doprowadziły do utraty miasta. Nowym właścicielem został Andrzej Xanecki. Z dokumentów wynika, że w latach 1416–1423 dziedzicem w Borku był Wojciech Wyskocki. Wykorzystał on fakt spalenia Zdzieża w 1423 roku i prawdopodobnie przepisał przywilej lokacyjny na miejscowość Borek. Po częściowej odbudowie miasto Zdzież istniało jedynie do roku 1435. Następnie stopniowo przekształciło się w wieś, stając się integralną częścią Borku. Historycy sugerują, że Borek zdobył status miasta tylko z powodu nieudanej próby lokacji dla Zgierza. Pomimo niezbyt korzystnego położenia (Borek nie leżał na szlaku handlowym), szybko się rozwijał. Okres największego rozkwitu przypadł na lata XV i XVI wiek. Przez wiele stuleci Borek pozostawał prywatnym miastem. W zapisach z roku 1423 jako właściciel miasta figurował Mikołaj ze Zdzieża.