W roku 1761 dobra boreckie wraz z miastem przeszły na własność Jana Nieświatowskiego. W roku 1832, Józef Kalasanty Nieświatowski, wnuk Jana, popadł w bankructwo i z obawy przed wierzycielami zaczął się ukrywać, m.in. w Bruczkowie. W celu uporządkowania sprawy, nad miastem ustanowiono administrację przymusową i wystawiono je na licytację. 6 lutego 1833 roku, za kwotę 55 050 talarów, Karol Graeve - Niemiec z Westfalii, nabył miasto. Był on ostatnim prywatnym właścicielem miasta i majątku. W roku 1834 nastąpił rozdział miasta od wsi. Do tego czasu właściciele rezydowali na zamku. Ze względu na jego zły stan baron Graeve nakazał zburzyć zamek, a sam wraz z rodziną przeniósł się do nowo wybudowanego pałacu w Karolewie.
Borek przez lata był ośrodkiem sukiennictwa, później płóciennictwa. Od roku 1793 miasto pozostawało w granicach Królestwa Prus, a następnie, do 1918 w granicach Cesarstwa Niemieckiego. W czasie zaboru Borek należał do powiatu Krotoszyn (istniał w latach 1793–1919). Według spisu urzędowego z 1837 roku miasto liczyło 1 750 mieszkańców, którzy zamieszkiwali 202 dymy (domostwa). W połowie XIX wieku działał tu jeden z nielicznych na zachodzie cadyków Elijahu Guttmacher. W 1855 roku gmina żydowska wybudowała murowaną synagogę.