Jego nauczyciel i bandlider Herb Pomeroy bowiem nakłonił go do komponowania i aranżowania własnych utworów dla jego orkiestry. Słynny pianista John Lewis również zachęcał młodego twórcę do pracy na tym polu.
Szybko zyskał uznanie dzięki współpracy z czołowymi artystami jazzu: Lewisem, Anitą O’Day, oraz Gerrym Mulliganem i Johnnym Hodgesem, dla których skomponował utwory o niezwykłej melodyce. Zasłynął oryginalnymi aranżacjami broadwayowskiego musicalu Franka Loessera How to Succeed in Business Without Really Trying oraz przyczynił się do rozwoju bossa novy, pracując ze Stanem Getzem i Bobem Brookmeyerem.
Od 1963 zaczął poświęcać więcej uwagi własnej karierze, kiedy to wydał płytę The Gary McFarland Orchestra Featuring Special Guest Soloist: Bill Evans, nierzadko uważaną za jego najważniejszą, m.in. ze względu na jej „zachwycającą prostotę”. Zaczął także nagrywać w małych grupach, prezentując swoją wyrafinowaną grę na wibrafonie, czego przykładem jest album Point of Departure. Po wystawieniu w 1964 swojego baletu Reflections in the Park, w następnym roku wydał płytę z bossa novą Soft Samba. Album składał się z nowych wersji przebojów muzyki pop w większości grupy The Beatles i sam stał się bestsellerem, choć spotkał się z szeregiem nieżyczliwych recenzji prasowych.