Pleasure Heads Must Burn jedyne oficjalne wydawnictwo zespołu The Birthday Party na którym możemy nie tylko usłyszeć ale i zobaczyć zespół. Po raz pierwszy "Pleasure Heads Must Burn" wydano w formacie VHS w roku 1984. Na kasecie zostały zawarte przede wszystkim dwa występy z manchesterskiego klubu Hacienda. Pierwsze sześć utworów zostało zarejestrowane w dniu 22 lipca 1982 a drugi występ odbył się 24 lutego 1983. Całość jest przedzielona jedynym wideoklipem zespołu, powstałym w australijskim mieście Melbourne, który został zrealizowany 2 lutego 1981 przez zespół filmowy The Rich Kids w skład którego wchodzili Evan English oraz Paul Goldman. Teledysk zmontował John Hillcoat.
W roku 2003 na bazie wcześniejszej kasety VHS wydawnictwo Cherry Redy dokonało reedycji w formacie DVD. W tym wydaniu, część którą można było zobaczyć na kasecie VHS, została umieszczona na samym końcu i w spisie utwory 6-11 to zapis z koncertu w dniu 22 lipca 1982 a utwory 12-18 z koncertu 24 lutego 1983. Część koncertowa jest poprzedzona opisywanym wcześniej teledyskiem umieszczonym na pozycji numer 1. W dalszym ciągu możemy zobaczyć niepublikowane wcześniej utwory (oznaczone numerem 2-3)z koncertu w The Ace Cinema w Brixton.Ścieżka numer 4 na DVD to zapis z koncertu w Trade Union Club w Sydney 14 maja 1983 roku.