Był fanem The Beatles, The Who, The Stooges i The Ronettes. Jego idolem był Pete Townshend z The Who. W wieku 13 lat zaczął grać na perkusji. W 1974 utworzył z Johnem Cummingsem i Douglasem Colvinem zespół, w którym został perkusistą. Colvin jako pierwszy w grupie przyjął nazwisko „Ramone” (odtąd znany był już jako Dee Dee Ramone) – zainspirowany Paulem McCartneyem, który używał pseudonimu Ramone (Paul Ramon) w podróży, aby zachować anonimowość w szczytowym okresie beatlemanii. Później przekonał pozostałych muzyków do swojego pomysłu i w ten sposób Cummings stał się Johnnym Ramone, Jeffrey Hyman Joeyem Ramone, a sam zespół przyjął nazwę The Ramones. Kiedy Dee Dee, który był wokalistą zrezygnował z tej funkcji na rzecz gitary basowej, Joey zajął jego miejsce. Nowym perkusistą został dotychczasowy menedżer Tommy Erdelyi, który przyjął pseudonim Tommy Ramone.
W Ramones stał się współtwórcą (obok Dee Dee) większości repertuaru. W latach 80. pogorszyły się jego relacje z Johnnym, który poślubił jego dziewczynę – Lindę.