Jako przyczynę biografie podają konflikt z (nowym wówczas) gitarzystą Yes, Steve’em Howe’em oraz niechęć do wykorzystania syntezatorów oraz melotronu. W składzie Yes Kaye zastąpiony został przez Ricka Wakemana.
Po usunięciu z Yes, Kaye przystąpił do zespołu Flash, założonego przez Petera Banksa, również byłego członka Yes i uczestniczył w nagraniu pierwszej płyty Flash. Następnie razem z Davidem Fosterem (jednym z autorów piosenek dla Yes) założyli grupę Badger, która wydała dwa albumy: One Live Badger (1973) i White Lady (1974). W latach 1974–1975 Kaye grał w zespole Davida Bowie, następnie przyłączył się w 1977 do grupy Detective, a w 1979 Badfinger.
W 1982 po rozpadzie Badfinger Tony Kaye zaproszony został przez Chrisa Squire’a do grupy Cinema, którą ten tworzył wraz z południowoafrykańskim gitarzystą, Trevorem Rabinem oraz innym członkiem Yes, Alanem White. Po dołączeniu Jona Andersona zespół przybrał nazwę Yes. Kaye brał udział w nagraniach i koncertach zespołu aż do rozpadu składu z Rabinem w roku 1995. Jego udział w kompozycjach był jednak niewielki, na płytach dużą część instrumentów klawiszowych nagrywał sam Trevor Rabin, zaś na koncertach Kaye był wspomagany przez muzyków grających za sceną.