Właścicielem dóbr był też ród Rosenberg Gruszczyńskich herbu Poraj, znany od XV w., który przybył tu z Gruszczyc na ziemi sieradzkiej. W 1809 r. Dyrektor Towarzystwa Kredytowego w Prusach Zachodnich Antoni Gruszczyński otrzymał tytuł baronowski z przydomkiem Rosenberg, od tego czasu ród używał już tego miana. Z rodu tego miał się wywodzić Alfred Rosenberg urodzony w Rewlu (obecnie Tallinn) minister III Rzeszy, jako zbrodniarz wojenny stracony w Norymberdze. Ostatni znany spadkobierca zespołu parkowego i pałacu w Klecewie to prawnuk Tytus L Rosenberg.
Klecewo było dwukrotnie areną walk: w 1459 r. między Polakami i Krzyżakami i na początku 1945 r. pomiędzy Armią Czerwoną a Wehrmachtem. Pod polską administrację miejscowość trafiła latem 1945 r.
Po 1945 r. w Klecewie założono PGR, w latach 1974-1991 podlegał Zakładowi Rolnemu w Trumiejach.
W pałacu mieściła się szkoła, a po wojnie najpierw biura PGR-u, później ośrodek wczasowy. Budowla w złym stanie przeszła w ręce prywatne.