Album został nagrany w Salem w stanie Oregon, a sesje nagraniowe trwały dwa tygodnie.
Pierwszy singiel z albumu, „Alcoholics Unanimous”, ukazał się 6 kwietnia 2009 roku, a cały album miał swoją premierę w Europie 20 kwietnia nakładem Cooking Vinyl, a w Stanach Zjednoczonych 12 maja za pośrednictwem . Jej okładkę opracował artysta komiksowy Jeff Lemire.
Promując swój album, w 2009 roku zespół wyruszył w trasę koncertową, występując m.in. w Wielkiej Brytanii, Belgii, Holandii, Niemczech, Danii, Austrii, Włoszech, Szwajcarii, Francji, Hiszpanii i Stanach Zjednoczonych, natomiast w 2010 roku wystąpili w Polsce. Pojawili się na Off Festiwalu 2010 w Katowicach, występując na Scenie Leśnej 6 sierpnia.
Brilliant! Tragic! i Wham! Bang! Pow! Let's Rock Out! (od 2011) Na początku marca 2011 roku zespół ujawnił szczegóły swojego kolejnego albumu studyjnego pn. . Argos powiedział o nim: „Bang Bang Rock & Roll zrobił to, co obiecuje. It's A Bit Complicated było trochę skomplikowane. W Art Brut vs. Satan musieliśmy walczyć z Szatanem. Ta płyta podąża tym samym schematem, jest genialną, tragiczną płytą”. Album premierę miał 23 maja 2011 roku, wydany przez Cooking Vinyl. Jego producentem ponownie był Frank Black, a okładkę stworzył artysta komiksowy . Główny singiel albumu, „Lost Weekend”, ukazał się 16 maja tego samego roku.