W latach 1963–1965 był już pianistą w zespole stale towarzyszącym Elli Fitzgerald (prócz niego grali jeszcze: kontrabasista Jim Hughart, gitarzysta Les Spann – po jego rezygnacji zastępowany przez Roya Eldridge’a – i perkusista Gus Johnson). Po kilkuletniej przerwie, w czasie której Flanagan m.in. akompaniował i był kierownikiem muzycznym Tony’ego Bennetta, współpraca z Fitzgerald została wznowiona w 1968. To był bardzo wyczerpujący okres, ponieważ pieśniarka pracowała bardzo intensywnie, robiąc przerwy w występach jedynie na czas Świąt Bożego Narodzenia i miesięcznego urlopu w lecie. W 1971 towarzyszyli Fitzgerald podczas koncertu w czasie uroczystości pogrzebowych Louisa Armstronga. Obowiązki pianisty i kierownika muzycznego pełnił Flanagan dla Elli aż do jesieni 1978, kiedy to - po ataku serca - zrezygnował z tej pracy (powrócił na estrady na początku 1980).