Zespół przez pierwsza lata działalności rozwijał swoje zorientowane na groove, grając na lokalnych domówkach. Równocześnie Offer, Pope i Van Der Volgen występowali w instrumentalnym zespole . Zespoły !!! i Out Hud wydały w 1999 roku wspólny minialbum Lab Series Vol. 2, którego sponsorem była wytwórnia Gold Standard Laboratories i magazyn Zum. Po długiej trasie koncertowej po Stanach Zjednoczonych, w 2000 roku ukazał się debiutancki album zespołu pod tym samym tytułem, wydany przez Gold Standard Laboratories.
Louden Up Now i Myth Takes (2003–2009) lewo|mały|Koncert zespołu !!! na Flow Festival 2007
Niedługo po premierze debiutanckiego albumu !!! wrócił do studia i nagrał wystarczająco dużo materiału na kolejną płytę. Niektórzy członkowie przenieśli się do Nowego Jorku, ale grupa pozostawała dalej aktywna. W 2003 roku ukazał się singel „Me and Giuliani Down By the School Yard”, długi utwór łączący house’owe rytmy z żylastymi liniami basowymi, psychodelicznymi gitarami i prostym tekstem, który nawiązuje do tytułowej piosenki musicalu . Utwór ten znalazł się na 114. miejscu listy najlepszych piosenek lat 2000. magazynu Pitchfork.