Przeprowadzka trójki do Oksfordu w 2002 roku przyczyniła się do przełomu w rozwoju swojej kariery. Jeszcze w tym samym roku zespół wydał swój minialbum w wytwórni . Podpisując kontrakt z wytwórnią zwrócono uwagę, że w Dublina istnieje inny zespół o nazwie , dlatego też szybko zmienili oni nazwę zespołu na „The Young Knives” po błędnym odczytaniu wyrażenia „young knaves” w książce o historii Szkocji.
Wydanie albumu The Young Knives… Are Dead zwróciło uwagę londyńskiej wytwórni Transgressive Records. Wydana w 2004 roku limitowana edycja minialbumu Junky Music Make My Heart Beat Faster okazała się sukcesem, a rok później The Young Knives grał koncerty jako support dla zespołów The Futureheads i Hot Hot Heat.
W grudniu 2005 roku ukazał się singel „The Decision”, którego producentem był Andy Gill z zespołu Gang of Four. W 2006 roku single „” i „” z ukazanego w sierpniu debiutanckiego albumu studyjnego były notowane w pierwszej czterdziestce utworów w Wielkiej Brytanii. Sukces, jaki przyniósł in album sprawił, że jeszcze w tym samym roku zagrali więcej koncertów aniżeli kiedykolwiek wcześniej, a ich piosenki stały się popularne w brytyjskich alternatywnych stacjach radiowych.