Tu poznał Marię Annę Hadik von Futak, córkę marszałka polnego i komendanta twierdzy Andrzeja Hadika, który jako przyszły teść zaczął starania o jego uwolnienie. Po zwolnieniu w maju 1765 para wzięła ślub 5 czerwca 1765 r. w Hermannstadt. W 1770 na świat przyszła córka Łucja Franciszka.
Po powrocie do Polski przejął majątek po zmarłym w 1761 ojcu. Objęty infamią nie uczestniczył w życiu publicznym aż do wybuchu konfederacji barskiej.
Po wybuchu konfederacji barskiej stanął po stronie konfederatów, przekazując na ich rzecz znaczne środki finansowe. Pomógł zorganizować oddziały w województwie sandomierskim i na ziemi sanockiej, skąd ruszył na pomoc Krakowowi razem z Piotrem Potockim i Ignacym Jakubem Branickim. Po przegranej bitwie pod Makowem schronił się na Węgrzech, co skutkowało licznymi oskarżeniami o zdradę i tchórzostwo. Wiosną 1769 powrócił do walk, współpracując m.in. z Kazimierzem Pułaskim.