Branicki zbliżył się do dworskiej partii saskiej i skupił wokół siebie przeciwników Czartoryskich. 7 maja 1764 roku podpisał manifest, uznający odbywający się w obecności wojsk rosyjskich sejm konwokacyjny za nielegalnyMateriały do dziejów bezkrólewia po śmierci Augusta III i pierwszych lat dziesięciu panowania Stanisława Augusta Poniatowskiego, t. I Lwów 1857, s. 45 – 49.. Próbował uzyskać pomoc Turcji i chciał organizować zbrojny opór. Czartoryscy doprowadzili do pozbawienia hetmana władzy nad wojskiem ustanawiając Komisję Wojskową Koronną. 75-letni Branicki szybko został zmuszony przez wojska Familii i rosyjskie, dowodzone przez Franciszka Ksawerego Branickiego (z innej rodziny Branickich, pochodzenia ruskiego, która pieczętowała się herbem Korczak, późniejszego hetmana wielkiego i targowiczanina), do wycofania się na Węgry. Dzięki wstawiennictwu dyplomacji francuskiej oraz pośrednictwu żony (siostry nowego króla) doszedł do porozumienia z Familią i powrócił do ukochanego Białegostoku.