W XVIII w. rodzina Morsztynów wybudowała w Czarkowach barokowy pałac. Była tam też stara kopalnia siarki pod nazwą „Opatrzność Boska” zamknięta w XVIII w. Pałac i kopalnię w 1849 kupił Władysław Pusłowski, a jedenaście lat po jego śmierci, w 1870, przejął je w spadku starszy syn Zygmunt. W pałacu nad Nidą wychowywali się synowie Zygmunta i jego żony Marii: Emanuel zwany Nelem (studiował później matematykę w Paryżu i przyjaźnił się z Marcelem Proustem), Xawery, na którego wołano Sawa (prawo, filozofia i historia sztuki w Krakowie i Berlinie) i najmłodszy Włodzimierz (służył później w armii rosyjskiej). Młodopolski Kraków uwielbiał czerkowski salon artystyczno-polityczny, głównie za sprawą Zygmunta i jego kolekcjonerskich zbiorów, a gromadził książki, dokumenty, rękopisy i starodruki, meble, makaty, gobeliny, dywany, kolekcje porcelany, srebra, szkła, obrazy, rzeźby, sprowadzane z Paryża, Wiednia, Warszawy, Krakowa. W Czarkowach, u Zygmunta, bywali artyści: Matejko, Boznańska, Malczewski, Rostworowski, Puszet, Morstin, Mehoffer. Józef Mehoffer uwiecznił pałac Pusłowskich na rysunku w 1913. Rok później, we wrześniu 1914 roku wojska rosyjskie spaliły pałac Pusłowskich w Czarkowach wraz z olbrzymią kolekcją dzieł sztuki zgromadzoną przez Zygmunta Pusłowskiego. (m.in. domniemany rysunek głowy Chopina autorstwa Delacroix).