W 1991 roku założył zespół Rocco Raco.
W 1991 roku w Pittsburghu perkusista , gitarzysta Mike Banfield oraz basista Pat Morris założyli mathrockowy zespół Don Caballero, do którego w kolejnym roku dołączył Williams. W zespole grał na klawiszach i gitarze. Pierwszy debiutancki album zespołu, , został wydany w 1993 roku, a w 1995 roku drugi album o nazwie .
W 1997 roku wszedł do eksperymentalnego zespołu muzycznego , gdzie był wokalistą i grał na gitarze elektrycznej. Z zespołem tym nagrał dwa albumy: wydany na początku 1997 roku i opublikowany na początku 2000 roku.
Będąc członkiem Don Caballero wydał jeszcze dwa albumy: w 1998 roku i w 2000 roku. Na skutek napięć doszło do rozbicia zespołu. Williams przeprowadził się do Nowego Jorku, gdzie zaczął początkowo grać solowo w jako I-Will.
W 2002 roku założył wraz z perkusistą Johnem Stanierem, basistą i gitarzystą Davem Konopką oraz gitarzystą, klawiszowcem i wokalistą Tyondaiem Braxtonen zespół Battles. Debiutancki minialbum grupy, , wydany został przez wytwórnię w czerwcu 2004 roku, a w maju 2007 roku opublikowali debiutancką płytę studyjną Mirrored, która zdobyła szerokie uznanie krytyków.