Początki CBGB, początkowo mało znany klub rockowy, został założony w roku 1973, w miejscu w którym wcześniej Hilly Kristal prowadził bar Hilly’s on the Bowery („U Hilly’ego na Bowery”) w latach 1969–1972. Początkowo Krystal skupiał się głównie na prowadzeniu innego, bardziej dochodowego lokalu nocnego w West Village, Hilly’s („u Hilly’ego”), ale skargi mieszkańców okolicy wymusiły jego zamknięcie. Pełna nazwa to CBGB & OMFUG, akronim od Country, Blue Grass, Blues and Other Music For Uplifting Gormandizers, co w swobodnym tłumaczeniu oznacza: „Country, Blue Grass, Blues i inne rodzaje muzyki dla lekkodusznych żarłoków”. W normalnym znaczeniu „żarłok” (Gormandizer) to osoba jedząca dużo i łapczywie, jednak tutaj, jak twierdził Kristal, chodziło o „łapczywych pożeraczy... muzyki”.. Klub był też często nazywany po prostu „CB”. Jak sugeruje nazwa, Kristal planował, by klub prezentował country, bluegrass i bluesa, lecz CBGB zasłynęło na świecie jako miejsce narodzin amerykańskiego punk rocka. Najbardziej istotny wydaje się fakt, że pionierzy muzyki punk rockowej, Ramones, grali tam swoje pierwsze koncerty.