Marionetki wykorzystane w teledysku prezentowano na wystawie w muzeum Rock and Roll Hall of Fame w Cleveland w stanie Ohio.
Wydania i promocja Nagranie studyjne „I Stay Away” wydano 25 stycznia 1994 na minialbumie Jar of Flies, opublikowanym nakładem wytwórni Columbia; .. 15 kwietnia Christopher Woltman, dyrektor promocji albumów w Columbii, wskazał 3 maja jako planowany termin rozpoczęcia promocji utworu w stacjach radiowych. W datowanym na 29 kwietnia 1994 numerze „” „I Stay Away” wymieniono w rubryce „New Releases This Week”. Nagranie zamieszczono następnie na singlu, który – jako drugi po „No Excuses” – promował epkę; .. Wydanie amerykańskie singla na CD (nr kat. CSK 6056) zawierało wyłącznie nagranie tytułowe. Dwutworowe wydanie promocyjne na CD (nr kat. 11-002208-17), dystrybuowane przez Sony, ukazało się w Wielkiej Brytanii. Oprócz nagrania tytułowego zawierało także „Don’t Follow”, pochodzące z tej samej epki.
W późniejszych latach nagranie zamieszczono na czterech albumach kompilacyjnych zespołu: Nothing Safe: Best of the Box (1999), Music Bank (1999);