Kariera klubowa W październiku 2005 roku 20-letni wówczas obrońca zadebiutował w pierwszej drużynie Harlequins w meczu z Doncaster Knights, dodatkowo podkreślając swój występ zdobytym przyłożeniem. Sezon 2005/2006 Brown zakończył z wynikiem siedmiu przyłożeń w 13 spotkaniach, co przyniosło mu tytuł klubowego „młodego zawodnika roku”. Wysoką formę – i miejsce w podstawowym składzie – utrzymał również w kolejnym sezonie, dzięki czemu został uznany „zawodnikiem roku”. Rok później rozgrywając 30 z 32 meczów Premiership, spędził na boisku więcej czasu niż jakikolwiek inny gracz.
Pierwsze trofeum na arenie europejskiej Brown zdobył w maju 2011 roku, kiedy to Quins pokonali w finale European Challenge Cup Stade Français 19:18. W sezonie 2010/2011 został również wybrany przez klubowych kolegów najlepszym graczem w drużynie (ang. players’ player of the season). Sezon 2011/2012 to raz jeszcze pokaz wysokiej formy obrońcy Harlequins – jednego z filarów drużyny, która zdobyła pierwszy w klubowej historii tytuł mistrza Anglii.