W latach 1946–1951 Brown grał w orkiestrze i małych (Two Bass Hit) zespołach Gillespiego. Kiedy sekcja dęta (głównie trąbek) big-bandu odpoczywała podczas występu po wykonaniu wyczerpujących partii w wysokich rejestrach, koncert kontynuowała sekcja rytmiczna: Milt Jackson, John Lewis, Brown i Kenny Clarke. W 1951 muzycy ci jako The Milt Jackson Quartet nagrali płytę, a sam zespół (bez Browna) przekształcił się w The Modern Jazz Quartet.
Jeszcze w 1947 Gillespie zaangażował na tournée po południowych stanach USA Ellę Fitzgerald. Pozamuzycznym efektem tych koncertów był ślub Browna i słynnej wokalistki. W 1949 para adoptowała nowo narodzonego syna przyrodniej siostry Fitzgerald, Frances, który po chrzcie stał się Rayem Brownem juniorem. W 1952 Brown i Fitzgerald rozwiedli się, ale pozostali przyjaciółmi i nie zaprzestali współpracy.
W 1949 Brown występował również w koncertach Jazz at the Philharmonic (uczestniczył w JATP ponad 18 lat), podczas których zaczął grywać z Oscarem Petersonem. Luźna współpraca przerodziła się w 1951 w stały alians muzyczny, który funkcjonował przeszło 15 lat, owocując dziesiątkami nagranych płyt i ogromną liczbą koncertów zagranych na całym świecie.