Po rozwiązaniu orkiestry w 1769 roku wrócił do Wiednia.
W 1769 roku Ditters związał się z dworem księcia biskupa wrocławskiego Philippa Gottharda von Schaffgotscha na zamku Jánský Vrch w Javorníku. W 1770 roku Ditters otrzymał papieski Order Złotej Ostrogi i stanowisko nadzorcy lasów księstwa nyskiego. W 1773 roku został nobilitowany, wówczas nadano mu nazwisko von Dittersdorf. Wówczas otrzymał posadę starosty okręgowego Jesionika. Kompozytor stworzył szereg oper włoskich na potrzeby dworu biskupiego.
W 1786 roku w Wiedniu wykonano jego cykl 12 symfonii charakterystycznych opartych na Metamorfozach Owidiusza. Niedługo potem odbyła się premiera singspielu Dittersdorfa Doktor und Apotheker, który odniosła ogromny sukces. W 1789 roku kompozytor odwiedził Berlin, gdzie zyskał uznanie i dyrygował swoimi kompozycjami.
W 1794 roku Dittersdorf stracił część stanowisk na dworze biskupim z powodu intrygi, co doprowadziło go do trudnej sytuacji finansowej. Wówczas nawiązał kontakt z dworem księcia Fryderyka Augusta Brunszwickiego (1740–1805) w Oleśnicy, dla którego skomponował szereg utworów.