Był pod wielkim wpływem swoich bogatych przyjaciół. Zaczął namiętnie uprawiać hazard, myśląc, że jego fortuna jest tak samo pokaźna, jak jego otoczenia. Póki miał resztki spadku, nie stanowiło to większego problemu. Brummella, Lorda Alvanleya, Henry’ego Mildmaya i Henry’ego Pierrepointa postrzegano jako inicjatorów Watier's, nazywanego przez Byrona Klubem Dandysów [ang. the Dandy Club]. Zostali gospodarzami balu maskowego w lipcu 1813 roku, podczas którego książę-regent pozdrowił Alvanleya i Pierrepointa, natomiast zlekceważył towarzystwo Brummella i Mildmaya, zatrzymując wzrok na nich, lecz nie podejmując żadnej rozmowyThe Wits and Beaux of Society, Volume 2, Grace and Phillip Wharton, 1861. To sprowokowało Brummella do wypowiedzenia słynnej uwagi: Alvanley, kim jest ten twój gruby przyjaciel?. To podsumowało długo narastający rozdźwięk między nimi, rozpoczęty (według Cambella) w 1811 roku, kiedy książę został regentem i zaczął powoli wycofywać się z towarzystwa swoich liberalnych przyjaciół. W wielu przypadkach niełaska byłaby wielką porażką towarzyską, niemniej jednak Brummell znalazł aprobatę i przyjaźń wśród innych arystokratów.