Historia mały|left|Vernon Reid, mentor zespołu Po zawieszeniu działalności przez Neon Christ w 1986, William DuVall przeniósł się z Atlanty do Santa Cruz w Kalifornii, gdzie przez krótki czas występował w punk rockowej formacji Blast. Po opuszczeniu szeregów zespołu, planował utworzyć punkowo-metalowy projekt muzyczny o nazwie The Final Offering. Kiedy nie doszedł on do skutku, DuVall uformował w 1988 trio rockowe No Walls, którego skład uzupełnili basista Hank Schroy i perkusista Matthew Cowley. DuVall pełnił obowiązki wokalne i grał na gitarze. W jednym z późniejszych wywiadów przyznał: „W tamtym czasie postrzegałem No Walls jako grupę pop. Myślałem, że było mnóstwo ludzi, którzy czekali na zespół, który pozwoliłby im na przyswojenie Hendrixa, Joni Mitchell, Nusrat Fateh Ali Khana, Ornette Colemana, Sonic Youth, The Beatles oraz wielu innych w jednolitą mieszankę, i posłuchanie muzyki rockowej”.
Utwór „Never Fall Apart” w wykonaniu No Walls, został zamieszczony w 1990 na albumie kompilacyjnym The View: An Atlanta Compilation 1984 – 1990, będącym zbiorem kompozycji zarejestrowanych przez lokalne zespoły wywodzące się z Atlanty.