Do jego najbliższych przyjaciół należeli poeci Cheng Jinfang i Jiang Shiquan oraz uczony Yao Nai, który ułożył epitafium znajdujące się na nagrobku Yuan Meia.
Ostatnie lata jego życia były naznaczone zachowaniem uznawanym przez wielu współczesnych za skandaliczne, nawet na tle jego ogólnego ekscentryzmu i kontrowersyjnych opinii, z których znany był od zawsze. W trakcie serii podróży odwiedził Jiangxi, Guangdong, Kuangsi, Hunan (1784) Fujian (1786) oraz szereg sławnych miejsc w Jiangsu i Zhejiang (1795). W tych wędrówkach towarzyszył mu przystojny i ponad czterdzieści lat młodszy Liu Zhipeng, o którym krążyły plotki że jest kochankiem Yuan Meia. To czy ten ostatni w trakcie swojego życia utrzymywał seksualne kontakty z mężczyznami nie jest do końca jasne, ale pozostaje faktem, że nie wahał się opisywać tego rodzaju miłości w swoich książkach. Dla jego reputacji prawdopodobnie większe znaczenie miało jednak przyjęcie jako swoich poetyckich uczniów szeregu kobiet. Yuan Mei posunął się do tego, że zaczął dla nich organizować Eleganckie Spotkania (雅集, yaji), tradycyjnie kojarzone z uczonymi-literatami. Co więcej, w 1796 ułożył antologię zatytułowaną Wybór Wierszy Uczennic Ogrodu Zadowolenia, zawierającą utwory dziewiętnastu poetek.