W 1927 zadebiutował jako muzyk zawodowy, grając na banjo w lokalnym zespole Eva Jonesa. W następnym roku pracował w orkiestrze skrzypka Phila Spitalnego. W tym czasie zamienił banjo na gitarę. W celach artystycznych zmienił również nazwisko i od 1929 występował jako Alvin Rey. W Nowym Jorku bowiem, gdzie grał, panowała wtedy moda na muzykę latynoską. Współpracował z orkiestrą Russa Morgana, a następnie – Freddy’ego Martina. W tym czasie również poznawał tajniki gitary u Roya Smecka, instrumentalisty i prekursora gitary elektrycznej.
Od 1932 do 1938 był członkiem formacji Horace Heidt and His Musical Knights. Zwrócił uwagę na siebie i orkiestrę, kiedy zaczął grać na gitarze hawajskiej (steel guitar), którą szybko zmodyfikował. Późniejsze innowacje konstrukcyjne doprowadziły do powstania „gitary konsolowej”. Był w tym czasie jednym z najlepiej opłacanych sidemanów w Stanach Zjednoczonych. W 1935 Gibson, słynna wytwórnia sprzętu muzycznego, zwróciła się do niego z propozycją skonstruowania przy udziale inżynierów z firmy Lyon & Healy (produkującej m.in. harfy) prototypu elektrycznej przystawki do gitary na bazie urządzenia, które wcześniej zastosował w banjo.