Towner, który urodził się w rodzinie muzyków (mama była nauczycielką gry na fortepianie, natomiast ojciec grał na trąbce) naukę gry na fortepianie rozpoczął już w wieku 3 lat. 2 lata później zaczął pobierać lekcje z gry na trąbce. Grą na gitarze nie zajmował się aż do czasu kiedy rozpoczął naukę na Uniwersytecie Oregonu, gdzie studiował również kompozycję u Homera Kellera. Towner studiował też grę na gitarze klasycznej w Wiedniu pod kierunkiem Karla Scheita. Jak sam wyznaje, muzyce europejskiej (w szczególności wiedeńskiemu klasycyzmowi, romantyzmowi i wiedeńskiej awangardzie) zawdzięcza równie wiele, co jazzowi. W latach 60. występował jako pianista grając jazz w Nowym Jorku. W jego muzyce wyraźny był wówczas wpływ Billa Evansa. Na przełomie lat 60. i 70. zaczął improwizować na gitarze klasycznej i dwunastostrunowej. Grywał wtedy z muzykami, którzy grali z Evansem (m.in. flecista Jeremy Steig, basiści Eddie Gómez, Marc Johnson, Gary Peacock oraz perkusista Jack DeJohnette).
Nagrania Townera obejmują różnoraką stylistykę, poza jazzem muzykę poważną, folk i world music.
Śmierć Zmarł 18 stycznia 2026 w Rzymie, w wieku 85 lat.