Wyznaczył on także ton dla ich drugiego albumu , który został wydany przez Touch and Go w Stanach Zjednoczonych oraz przez Warp w Europie w czerwcu 2004 roku.
mały|!!! na koncercie podczas Festival Internacional de Benicàssim 2007
W 2004 roku przeszli do wytwórni Warp Records, a w czerwcu 2005 roku wydali minialbum z coverami „Take Ecstasy with Me” zespołu The Magnetic Fields oraz „Get Up” Nate’a Dogga. W grudniu tego samego roku pierwszy perkusista zespołu Mikel Gius został śmiertelnie potrącony przez samochód podczas jazdy na rowerze. W 2006 roku zespół supportował Red Hot Chili Peppers podczas otwarcia ich brytyjskiego etapu trasy koncertowej .
5 marca 2007 roku wydali swój trzeci album , który powstał w studiu na przedmieściach Nashville, gdyż właśnie tam udało się zebrać rozproszonych po całych Stanach Zjednoczonych muzyków zespołu. Pochodząca z tej płyty piosenka „All My Heroes Are Weirdos” znalazła się w ścieżce dźwiękowej gier Tony Hawk’s Proving Ground i FIFA 08 z 2007 roku, a „Yadnus” w grach The Crew 2 z 2018 roku i Grand Theft Auto IV z 2008 roku (wersja zremiksowana – Still Going to the Roadhouse Mix).
14 sierpnia 2007 roku zagrali po raz pierwszy w Polsce.