Pierwszym z braci, który pojawił się w 1905 na scenie był Groucho. Do niego dołączył w 1907 Gummo, z którym razem występowali jako dwójka z trójki śpiewaków grupy „The Three Nightingales” (ang. Trzy słowiki). Trzecim członkiem grupy była Mabel O’Donnell, po odejściu której w 1908 razem z braćmi zaczął występować Harpo. Razem z nim do grupy, która zmieniła nazwę na „The Four Nightingales” (ang. Cztery słowiki) dołączył Lou Levy. Grupa poszerzyła się w 1910 o następne dwie osoby: ich matkę Minnie i ciotkę Hannah, a także zmieniła nazwę na „The Six Mascots” (ang. Sześć maskotek).
Zaczęli wzbogacać stopniowo występy o elementy komediowe, wcielając się w charakterystyczne dla nich później role. Na twarzy Groucha pojawiły się namalowane wąsy, Chico zaczął mówić z włoskim akcentem, a Harpo przestał mówić.
Pseudonimy artystyczne wymyślone przez Arta Fishera podczas partyjki pokera rozgrywanej z nimi: Chico od uganiania się za kobietami (pierwotnie Chick-o) Harpo od harfy (ang. Harp), na której grywał w prawie każdym filmie Groucho od torby gaduły, zrzędy (ang. Grouch-bag), w której nosił pieniądze Gummo prawdopodobnie od gumowych butów, które nosił Zeppo od szympansa, gwiazdy (Mr.