Debiut PJ Harvey Trio miał miejsce w Sherborne's Antelope Hotel w kręgielni w kwietniu 1991. Harvey opisała to wydarzenie mówiąc: „Zaczęliśmy grać i przypuszczalnie było tam około 50 osób, a w trakcie pierwszej piosenki sala opustoszała. Zostało jakoś ze dwie osoby. Wtedy przyszła do nas kobieta, podeszła do perkusisty. Był to trzeci kawałek jaki graliśmy, i powiedziała „Czy nie widzicie, że nikomu się nie podobacie? Zapłacimy wam, możecie przestać grać, my i tak wam zapłacimy"”Linda Wertheimer (16 October 2004)"A Minimalist Effort From Rocker PJ Harvey : NPR"., data dostępu: 2013-04-08.
Zespół przeniósł się do Londynu w czerwcu 1991 kiedy Harvey złożyła podanie, by studiować rzeźbę w Central Saint Martins College of Art & Design. Była ciągle niezdecydowana jeśli chodzi o jej przyszłą karierę. W tym czasie, zespół nagrał zestaw demo, który został rozesłany do wytwórni płytowych. Niezależna wytwórnia Too Pure zgodziła się do wydania debiutanckiego singla „Dress” w październiku 1991 roku. „Dress” zdobył uznanie krytyki oraz został wybrany Singlem miesiąca w Melody Maker przez recenzenta Johna Peela.