Zespół zadebiutował na rynku muzycznym albumem Pezcore, wydanym w 1994 roku przez wytwórnię Dill Records. Tytuł płyty powstał przez połączenie nazwy popularnych w Stanach Zjednoczonych cukierków PEZ (których amatorami, a także kolekcjonerami są niektórzy członkowie LTJ) a także słowa 'hardcore'. W 1996 roku zespół przeszedł pod skrzydła wytwórni EMI (jednej z tzw. „wielkiej czwórki”), a konkretnie zaczął nagrywać w studiu Capitol Records.
Także w 1996 roku, Jessikę, która wybrała karierę nauczyciela, zastąpił Pete Anna. W późniejszym czasie do zespołu dołączył drugi mężczyzna o tym imieniu, Pete Wasilewski (zastąpił Nuhfera). By uniknąć nieporozumień, Wasilewski otrzymał pseudonim „JR” (junior).
Pete Anna opuścił zespół w 2001 roku, krótko po Warped Tour. W lutym 2002 Less Than Jake zaoferował fanom kompilację Goodbye Blue and White, która jest zbiorem najciekawszych utworów spośród tych, które znalazły się na limitowanych płytach winylowych w poprzednich latach (zespół wydał ich wyjątkowo dużo). Rok później, kiedy muzycy byli już związani z (Warner Music Group), na rynek trafiło kolejne wydawnictwo tego kwintetu – LP Anthem.