W finałowej sekcji piosenki, nawiązującej do stylu doo wop chórek śpiewa „bang, bang, shoot shoot”. Kolejnym sekcjom utworu towarzyszą niezwykłe zmiany rytmu; utwór rozpoczyna się w rytmie 4/4, następnie podczas solo gitary i sekcji „I need a fix...” zmienia się na 3/4. W sekcji „Mother Superior” rytm zmienia się przez 6/8, 3/4 i 4/4 i wynosi 4/4 w finałowej sekcji doo wop. Po słowach „When I Hold you...” rytm zmienia się na 3/4, ale perkusja nadal utrzymuje rytm 4/4Steve’s Beatles Page – Songs – Happiness Is A Warm Gun..
Tekst piosenki jest wieloznaczny; jedni widzieli w nim nawiązania do narkotyków, inni aluzje seksualne (wskazując zwłaszcza tytuł i frazę „I feel my finger on you trigger”).
Nawiązania Budowa utworu zainspirowała zespół Radiohead przy kompozycji utworu „Paranoid Android” z płyty OK Computer z 1997 roku. Na singlu Marilyn Manson Get Your Gunn znalazł się remiks autorstwa Trenta Reznora zatytułowany „Mother Inferior Got Her Gunn”.