Znaczenie tekstu "Burden in my hand" opisuje poradzenie sobie z poczuciem winy. Cornell śpiewa w refrenie "Zastrzeliłem moją miłość dzisiaj czy zapłakałabyś za mną?" i "Zostawiłem ją w piasków toni tylko ciężar w mojej dłoni". Poza tym wers: "Tylko ciężar w mej dłoni, tylko kotwica na mym sercu" co wydaje się sugerować, że utwór opowiada o ludzkim sumieniu. Gitarzysta Kim Thayil, w ironiczny sposób, nazywa tę piosenkę "Hey Joe" z lat 90.
Wydanie i odbiór "Burden in my hand" został wydany jako singel w 1996 roku. Na stronie B singla znalazły się dotąd niepublikowane utwory "Karaoke" i "Bleed Together", który znalazł się na składance "A-Sides" wydanej rok później. "Burden in my hand" pojawił się w zestawieniu Billboard's Hot 100 Airplay, osiągając top 40. "Burden in my hand" cieszył się największym sukcesem spośród singli promujących Down on the Upside na amerykańskich listach przebojów. Utwór zadebiutował na szczycie listy Billboard Mainstream Rock Tracks i na miejscu 2 na liście Billboard Modern Rock Tracks. Utwór spędził w sumie pięć tygodni bez przerwy na liście Mainstream Rock.
Poza Stanami Zjednoczonymi, singiel został wydany w Australii i Wielkiej Brytanii.