Clary był wpływowym działaczem sportowym. W 1903 roku został przewodniczącym Saint-Hubert Club de France – instytucji, która miała na celu m.in. walkę z kłusownictwem. W latach 1913–1933 przewodniczący Francuskiego Komitetu Olimpijskiego. Od 1913 do 1925 roku przewodniczący Narodowej Komisji Sportu, a w latach 1919–1933 członek Międzynarodowego Komitetu Olimpijskiego. Na początku lat 20. był jednym ze zwolenników utworzenia zimowych igrzysk olimpijskich (ostatecznie pierwsze takowe, pod nazwą Tygodnia Sportów Zimowych, rozegrano w 1924 roku w Chamonix). Komisarz generalny i przewodniczący komitetu wykonawczego podczas Letnich Igrzysk Olimpijskich 1924, które rozegrano w Paryżu. Podczas tych igrzysk, a także w czasie Letnich Igrzysk Olimpijskich 1928, był jurorem w Olimpijskich Konkursach Sztuki i Literatury. W Paryżu oceniał prace muzyczne, literackie, architektoniczne i rzeźbiarskie, natomiast cztery lata później był członkiem jury w konkursach muzycznych i rzeźbiarskich. W 1925 roku był kandydatem w wyborach na przewodniczącego MKOl, otrzymując w pierwszej rundzie 4 głosy, natomiast w drugiej tylko 1. Podobnie jak Pierre de Coubertin, był przeciwnikiem udziału kobiet w igrzyskach olimpijskich (co wyraził na sesji MKOl w Paryżu w 1924 roku).