Po skandalu związanym z hazardem Brown podjął się gry w lokalnej lidze amatorskiej w Dayton. Po powstaniu ligi ABA w 1967 roku stał się pierwszym zawodnikiem, którego zakontraktował zespół Indiana Pacers. Spędził w lidze kolejne 8 lat, zdobywając 3 tytuły mistrzowskie w trakcie pięciu finałów ligi w barwach Pacers. Otrzymał też wiele wyróżnień indywidualnych, a po zakończeniu kariery został zaliczony do składu najlepszych zawodników w historii ligi ABA (ABA's All-Time Team - 1997) oraz Koszykarskiej Galerii Sław (Naismith Memorial Basketball Hall Of Fame - 2013).
Przez 4 lata pracował w radzie miasta Indianapolis. W 1996 roku wykryto u niego raka, zmarł rok później. Klub Indiana Pacers zastrzegł należący do niego numer 35, tym samym dołączył on do grona takich zawodników jak: Reggie Miller, George McGinnis, czy Mel Daniels, których koszulki również zawisły pod kopułą hali Pacers.