A/ Zahorski, Spór..., s. 15–16., kasztelana krakowskiego (od 1752), polityka i pisarza politycznegoBibliografia Literatury Polskiej..., t. 6, cz. 1, s. 38. oraz Konstancji z Czartoryskich. Jego braćmi byli podkomorzy nadworny koronny Kazimierz, feldmarszałek austriacki Andrzej, prymas Michał Jerzy, Aleksander i Franciszek, miał też dwie siostry Ludwikę Marię i Izabellę. Był prawnukiem polskiego poety podskarbiego Jana Andrzeja MorsztynaF. de Callieres, Sztuka dyplomacji..., s. 12–16.. Jego prababka Katarzyna Gordon spokrewniona była ze Stuartami i spowinowacona z największymi rodami Szkocji, Hiszpanii i FrancjiM. Dernałowicz, Portret Familii, s. 7..
Od jesieni 1733 wraz z rodzicami przebywał w Gdańsku, gdzie pod koniec następnego roku, w momencie gdy jego ojciec, już od pięciu miesięcy, stał po stronie króla Augusta III, został porwany na rozkaz wojewody kijowskiego, regimentarza Józefa Potockiego i wywieziony do Kamieńca Podolskiego. Tam przebywał przez kilka miesięcy pod strażą Wacława Rzewuskiego. Odwieziony do rodziców, zapewne w marcu 1735 roku, przez następne lata do 1739 roku wraz z rodzicami przebywał w Gdańsku. Początkowo uczyła go matka, później różni prywatni nauczyciele. Tam też pobierał nauki u historyka Gotfryda Lengnicha, który był osobistym preceptorem młodych Poniatowskich.