Po niezbyt udanych próbach znalezienia pracy jako muzyk, jesienią 1945 rozpoczął studia muzyczne w Schillinger House w Bostonie, obecnie Berklee College of Music (jako uczący się były żołnierz otrzymywał stypendium, które umożliwiało przeżycie). Nauka nie wykluczała jednak gry i Mariano wykorzystywał każdą okazję występując w tym okresie z różnymi muzykami, m.in. z Jakim Byardem, Serge'em Chaloffem czy Dickiem Twardzikiem.
Grudzień 1947 to data pierwszej zarejestrowanej sesji nagraniowej Charliego Mariano jako członka sekcji dętej w zespole Ray Borden Big Band. W 1948 został członkiem bostońskiej orkiestry prowadzonej przez pianistę Nata Pierce’a. W 1949 nagrał płytę jako członek septetu Serge'a Chaloffa i Ralpha Burnesa. Po ukończeniu nauki w Schillinger House został zaangażowany jako saksofonista do klubu w pobliskim Lynn, gdzie grał m.in. z pianistą Jakim Byardem. W tym czasie Mariano został liderem swojego pierwszego zespołu. W składzie Charlie Mariano with His Jazz Group byli: trębacz Herb Pomeroy, Jaki Byard, basista Jack Carter i perkusista Peter Littman. W 1950 dla niewielkiej wytwórni Imperial nagrali pierwszą płytę, a w 1951 kolejną (bez specjalnych sukcesów finansowych).