Po stłumieniu powstania, uchodząc przed prześladowaniem ze strony Rosjan, Józef Wincenty Piłsudski uciekł ze Żmudzi na Litwę, gdzie też kilkakrotnie zmieniał miejsce pobytu. Jesienią lub zimą 1863 nowożeńcy zamieszkali na stałe w posagowym Zułowie.
Józef Wincenty Piłsudski postawił na uprzemysłowienie. Poddał majątki żony (Adamowo, Suginty, Tenenie, Zułów, razem ok. 12 000 ha) modernizacji, sprowadził specjalistów, również z zagranicy. Nad brzegiem Mery wybudował trzypiętrowy młyn, gorzelnię, wytwórnię drożdży, cegielnię i wytwórnię terpentyny. Wzniósł również nowy dwór.
W majątku Zułów 5 grudnia 1867 urodził się Józef Klemens Piłsudski. Był czwartym w kolejności dzieckiem – w 1864 urodziła się Helena, w 1865 – Zofia, a w 1866 – Bronisław Piłsudski. Po Józefie, którego w rodzinie nazywano ZiukiemJest to forma utworzona od znanego na Litwie zdrobnienia „Józiuk”, w Polsce znana jest forma „Ziutek”, przy czym w narzędniku obie formy są bardzo podobnie „Ziukiem/Ziutkiem”., urodzili się: Adam (1869), Kazimierz (1871), Maria (1873), Jan (1876), Ludwika (1879), Kacper (1881) oraz bliźnięta Piotr i Teodora (zmarli w wieku 1,5 roku, w lutym 1884).