Mieszkający w tym samym budynku klawiszowiec Ricky Westfield przedstawił go Ronaldowi Bellowi i Robertowi Mickensowi. Jeszcze jako uczniowie występowali wspólnie w klubach, wykonując muzykę jazzową.
Kool and the Gang W 1964 Brown wraz z Robertem i Ronaldem Bellami, Robertem Mickensem, Dennisem Thomasem, Rickym Westfieldem oraz Charlesem Smithem utworzył instrumentalny zespół jazzowo-soulowy The Jazziacs. Grupa działała następnie pod nazwami The New Dimensions, The Soul Town Band oraz Kool & the Flames. Po kilku latach występów w klubach w rejonie Nowego Jorku przyjęła pod koniec lat 60. nazwę Kool and the Gang.
Brown był perkusistą zespołu, a także uczestniczył w komponowaniu i produkcji jego nagrań. Początkowo grupa wykonywała muzykę opartą na jazzie, soulu i funku. Jej komercyjny przełom nastąpił po wydaniu albumu Wild and Peaceful w 1973. Pochodzące z niego utwory „Jungle Boogie” i „Hollywood Swinging” znalazły się w pierwszej dziesiątce amerykańskiej listy przebojów.