Józef został ochrzczony 15 grudnia 1867 w kościele rzymskokatolickim w Sorokpolu (dekanat święciański) przez księdza Tomasza Wolińskiego. Rodzicami chrzestnymi byli Józef Marcinkowski i Konstancja Rogalska.
Maria Piłsudska wychowywała swoje dzieci w duchu patriotycznym, dbała też o ich wykształcenie. Dzieci uczyli sprowadzeni do dworu nauczyciele. Języków uczyły dwie bony, Niemka i Francuzka.
Nieudana działalność inwestycyjna ojca doprowadziła zarządzane przez niego majątki do ruiny. Problemy rodziny pogłębił pożar, po którym w 1874 Piłsudscy przenieśli się do Wilna, zmuszeni tam do egzystencji w trudnych warunkach materialnychHasło: „Piłsudski, Józef”, w: Polski Słownik Biograficzny, T. XXVI, 1981..
W 1877 Józef, wraz z bratem Bronisławem, rozpoczął naukę w I Gimnazjum wileńskim, mieszczącym się w gmachu dawnego uniwersytetu. W gimnazjum bracia, razem z innymi uczniami, poddawani byli intensywnej rusyfikacjiKonspirator za młodu 1877–1885, Polska Piłsudskiego, Epoka, czyny i dziedzictwo Marszałka, „Rzeczpospolita”, nr 2, 12 lutego 2009.. Wiosną 1882 obaj bracia (wraz z innymi kolegami) założyli kółko samokształceniowe o nazwie Spójnia, zajmujące się sprowadzaniem z Warszawy polskich książekW tym także tłumaczenia prac Darwina, Comte’a czy publikacji socjalistów – np.