Już wcześniej, w szóstym roku życia, Józef został oddany na wychowanie stryjowi Franciszkowi Wybickiemu, proboszczowi skarszewskiemu i archidiakonowi pomorskiemu. Na probostwie u stryja przebywał przez dwa lata, następnie w ósmym roku życia, w 1755, został oddany na naukę do jezuickiego kolegium w Starych Szkotach (wtedy przedmieściu Gdańska), gdzie ukończył najpierw klasę poetyki (1762), a potem retoryki (1765). Po latach Wybicki wspominał okres nauki w kolegium bardzo negatywnie, pisząc:
Te brutalne metody wychowawcze doprowadziły w końcu do próby wzniecenia buntu wśród uczniów przez młodego Wybickiego, co groziło relegowaniem ze szkoły. Ostatecznie stryj Franciszek sam zdecydował się zabrać bratanka z kolegium, który z tego powodu nie kontynuował nauki w klasie filozofii z perspektywą dalszych studiów teologicznych, i ulokował go na praktyce w kancelarii sądu grodzkiego w Skarszewach, gdzie miał uczyć się prawa. Również tu Wybicki krytycznie oceniał metody nauczania polegające głównie na bezmyślnym powtarzaniu formuł, bez ich rozumienia: