Omówienie tekstów piosenek „Song of Joy” jest opowieścią o mężczyźnie, którego żona Joy oraz ich troje dzieci: Hilda, Hattie i Holly zostały zamordowane, pozostawiając mężczyznę w rozpaczy, gdy wszystko to co kochał, zostało mu odebrane. Podmiot liryczny przedstawia się jako ofiara, tekst jednak sugeruje, że to on mógł być sprawcą zbrodni. W biografii Cave'a, Bad Seed autorstwa Iana Johnstona, która towarzyszyła poprzedniemu albumowi „Let Love In”, wspomniane jest, że Cave pracuje nad nowym utworem, roboczo zatytułowanym „Red Right Hand II”. Piosenka ta miała opowiadać o mężczyźnie, któremu zamordowano troje dzieci. Tak więc jest to prawdopodobnie ten sam utwór, gdyż w treści pojawiają się słowa „in my house he wrote his red right hand, which I'm told is from Paradise Lost”. Utwór „Stagger Lee” jest oparty na tradycyjnym Afroamerykańskim utworze folkowym opowiadającym historię popełnionego morderstwa przez człowieka o tym właśnie imieniu. „Henry Lee” jest także oparta na melodiach tradycyjnych. Utwór ten opowiada o kobiecie, która zabija mężczyznę, gdyż on jej nie kocha. Piosenka jest śpiewana w duecie z brytyjską wokalistką PJ Harvey, z którą Cave był związany w tamtym czasie. „Lovely Creature” opowiada abstrakcyjną historię o odnalezieniu miłości w śmierci.