wszystko czego i tak nigdy nie słuchałem." powiedział do Marka Arma z Mudhoney. Pierwsza grupa Thayila, założona przez niego jeszcze w czasach licealnych Zippy and His Vast Army of Pinheads, grała własne utwory (pisane przez Thayila, a inspirowane przez jego fascynacje muzyką punk) i covery (głównie Sex Pistols i Ramones). Mniej więcej w tym samym czasie kupił gitarę Guild S-100, która od tamtego momentu towarzyszy mu na scenie i w studio, a także stała się jego znakiem rozpoznawczym.
Ukończył, razem z Hiro Yamamoto i Bruce'em Pavittem, alternatywny program nauczania na Rich East High School w 1981 roku. On i Yamamoto zdecydowali przenieść się do Olympii, w stanie Washington), aby studiować na Evergreen State College, ale nie mogli znaleźć pracy, więc wyruszyli do Seattle. Tam Thayil zapisał się na University of Washington, gdzie następnie otrzymał stopień naukowy z filozofii i zarabiał pieniądze pracując jako DJ dla KCMU.
Thayil wylądował w The Shemps, zespole założonym przez jego kolegę z pokoju, Matta Dentino, zastępując, wystarczająco skłóconego, Yamamoto jako basistę po tym jak młody perkusista Chris Cornell dołączył do zespołu. mały|250px|Kim Thayil (pierwszy z lewej) podczas koncertu z zespołem Soundgarden w 2010