Czarnecki zaczął od zbierania numizmatów i udało mu się zgromadzić ok. 4500 obiektów, często unikatów. Po jakimś czasie sprzedał kolekcję fotografowi warszawskiemu Karolowi Beyerowi i zaczął zbierać książki i ryciny, przeważnie staropolskie. Pod koniec życia posiadał ok. 7000 woluminów, w większości bezcennych unikatów, obejmujących m.in. literaturę piękną, historyczną i religijną, w tym wiele publikacji polskich dysydentów z XVII i XVIII wieku oraz dzieł drukowanych w małych, zapomnianych i efemerycznych oficynach drukarskich. W sprawach swojej kolekcji utrzymywał kontakt korespondencyjny z polskimi kręgami naukowymi we Lwowie m.in. z Oswaldem Balzerem i Wojciechem Kętrzyńskim.
Żonaty z Marią Giżycką h. Gozdawa (1827-1914), miał z nią ośmioro dzieci, z których najmłodszy Zygmunt (1866–1940) dostał od niego w 1897 Rusko, podczas gdy stary już hrabia przeniósł się do syna Józefa w Dobrzycy i do śmierci mieszkał w tamtejszym pałacu. Obecnie linia Zygmunta Stanisława Czarneckiego jest reprezentowana przez jego prawnuków i ich potomstwo, zamieszkałe w Polsce i Szwecji.