zaskoczeniem były także teksty ujawniające dziwne poczucie humoru frontmana i ilość utworów na płycie (23, z czego niektóre trwające tylko minutę).

Mouth By Mouth pojawiła się w 1993. Na trzeciej płycie Defever zaangażował wielu muzyków z zewnątrz, w tym nowego perkusistę Treya Many'ego. Połowa utworów z płyty była autorstwa grupy The Dirt Eaters, której Defever był członkiem. Odróżniał się stylistycznie od dwóch wcześniejszych wydawnictw HNIA, zawierając bardziej rockowe brzmienia.

W 1996 roku, po trwających trzy lata nagraniach, ukazał się album Stars On E.S.P.. Album był wyrazem kolejnego stylistycznego zwrotu, a krytycy muzyczni odnajdywali w nowej muzyce HNIA wpływy muzyki dawnej i surf-rocka. W podobnej stylistyce był utrzymany album z 1998 roku, Ft. Lake, na którym nowa wokalistka Lovetta Pippen zaśpiewała w trzech utworach („No Hiding Place”, „Wishing Ring”, „Everything Takes Forever”), nadając im wyraźnie bluesowy charakter. W innych utworach można usłyszeć awangardową artystkę, Darę, znaną z kilku wcześniejszych EPek zespołu i z utworu „Library Girl” pochodzącego z kompilacji 4AD All Virgos Are Mad.