2003–2010 Po zmianie nazwy zespołu grupa wydała pierwsze EP zatytułowane Bullet for My Valentine w Wielkiej Brytanii 15 listopada 2004 w wytwórni Visible Noise, oraz w USA 30 listopada 2004 w wytwórni Trustkill Records, jednakże ten krążek zawierał jedynie kilka nagranych piosenek. W ramach promocji obu EP został nakręcony teledysk do piosenki „Hand of Blood”. Piosenka ta znalazła się także na kompilacji wytwórni Trustkill zatytułowanej Trustkill Takeover. 28 marca 2005 zostało wydane „4 Words (To Choke Upon)” na winylu w limitowanej edycji w liczbie 1000 egzemplarzy. Kolejne EP, Hand of Blood, zostało wydane 22 sierpnia 2005 przez Trustkill Records w USA jako album ze zwiększoną liczbą utworów. Grupa została nagrodzona za nie przez Kerrang!'s Best British Newcomer Award. Pierwszym singlem z albumu był „Suffocating Under Words of Sorrow (What Can I Do)”, wydany 19 września 2005. 3 października 2005 w brytyjskich sklepach pojawił się debiutancki album The Poison. Po nagraniu obydwu albumów Nick Crandle odszedł z zespołu, a na jego miejsce przyszedł nowy basista Jason James.