W 2004 roku, po kilkumiesięcznej przerwie, Mattis rozpoczął drugą turę służby w Iraku. Wcześniej zachęcał swoich podwładnych do zapoznania się z tamtejszą kulturą, historią i normami obyczajowymi, promował odnoszenie się do Irakijczyków z szacunkiem i życzliwością oraz zorganizował naukę podstaw języka arabskiego. Niedługo po przybyciu do Iraku jego siły wzięły udział w pierwszej bitwie o Al-Falludżę. Mattisa rozwścieczył wówczas sposób zarządzania przebiegiem operacji na szczeblu politycznym. Zakończyła się ona wysokimi stratami wśród ludności cywilnej. Mattis podkreślał jednak, iż straty te były stosunkowo niewielkie na tle ogólnej liczby ludności miasta, a jego marines starali się na tyle, na ile było to możliwe, dbać o życie osób postronnych.
W maju 2004 roku oddziały podlegające Mattisowi wykonały uderzenie powietrzno-lądowe na cel w irackiej wsi przy granicy z Syrią. Według późniejszego oświadczenia Amerykanów chodziło o zniszczenie kryjówki zagranicznych bojowników. Zaatakowani byli jednak nie bojownikami, ale uczestnikami przyjęcia weselnego. W ataku zginęło 42 cywilów, w tym 27 członków jednej rodziny, a także goście weselni i muzycy. Wśród ofiar było 14 dzieci.