Fałszywie oskarżano go, że we Francji przywłaszczył sobie fundusze loterii, a nawet że parał się we Włoszech wędrownym aktorstwem. Pisał „Polacy, chociaż dzisiaj w ogóle dość uprzejmi, są jednak jeszcze bardzo przywiązani do swego dawnego usposobienia. Są jeszcze Sarmatami czy Dakami przy stole, na wojnie i w szale tego, co nazywają przyjaźnią, a co jest często tylko okropną tyranią. Nie chcą zrozumieć, że jeden wystarcza na jednego i nie wolno iść gromadą zarżnąć kogoś, kto jest sam i ma urazę tylko do kogoś jednego”Giacomo Casanova, Pamiętniki, str. 229 tomu VII w wydaniu z 1880 roku.. Zresztą echo tej sprawy dosięgło całej Europy i Casanova chlubił się do końca życia pojedynkiem z tak ważną osobą. Popadł jednak w niełaskę u króla, który w lipcu 1766 roku nakazał mu opuszczenie kraju.
Od wyjazdu z Polski do śmierci (1766–1798) Wyjechał z Polski, tym razem spłacając wszystkie długi (od króla Stanisława Augusta dostał na to 200 dukatów, czyli ok. 24 000 euro), dotarł do Wrocławia w Królestwie Prus, gdzie przez pewien czas mieszkał u księdza Bastianiego.., następnie do Drezna, gdzie od poznanej wcześniej we Wrocławiu Niemki zaraził się chorobą weneryczną. Później dotarł do Wiednia, ale został wydalony za złamanie prawa przeciwko uprawianiu hazardu.