Tekst i kompozycja Muzycznie Too Weird to Live, Too Rare to Die! jest inspirowane hip-hopem, ponieważ „nie ma żadnych reguł”. W kierując się tą mantrą, album bardzo się różni od piosenki do piosenki. Inne inspiracje dla albumu zaczerpnięto od kompozytorów muzyki elektronicznej, takich jak Kraftwerk i Wendy Carlos (kompozytorka ścieżki dźwiękowej do filmów Tron i Mechaniczna pomarańcza). Brzmienie albumu zostało opisane jako pop, dance-pop, synth pop, electropop, indie rock, alternatywny rock, pop rock i emo.
Geneza nazwy Nazwa albumu została zaczerpnięta z książki Lęk i odraza w Las Vegas, książki opartej na doświadczeniach autora Huntera S. Thompsona z podróży do Las Vegas w celu relacjonowania wyścigu Mint 400 – wyścigu pustynnego odbywającego się co roku w okolicach Las Vegas. Na podstawie książki istnieje również film z 1998 roku wyreżyserowany przez Terry'ego Gilliama z udziałem Johnny'ego Deppa. Jest to nawiązanie do centralnej tematyki albumu, który został zainspirowany rodzinnym miastem wokalisty Brendona Urie i perkusisty Spencera Smitha - Las Vegas.