Profesjonalną karierę muzyczną rozpoczął w 2002, podpisując kontrakt z wytwórnią Elektra Records. Powróciwszy do Wirginii, rozpoczął pracę z producentem Johnem Alagía nad materiałem na debiutancki album. Płyta pt. Waiting for My Rocket to Come ukazała się 15 października 2002, dotarła do drugiego miejsca notowania Billboard Heatseekers, a w lipcu 2004 uzyskała status platynowej płyty. Pierwszy singel z albumu, „The Remedy (I Won’t Worry)”, został napisany przez Mraza we współpracy z grupą produkcyjną The Matrix. W pracy nad albumem pomógł również przyjaciel i były współlokator Mraza, Billy „Bushwalla” Galewood, z którym wspólnie napisał „Curbside Prophet”, trzeci singel z albumu, oraz „I’ll Do Anything”. thumb|lewo|Jason Mraz podczas koncertu w Copley Symphony Hall w San Diego, 26 listopada 2005 W czerwcu i lipcu 2005 wystąpił z Alanis Morissette podczas jej trasy koncertowej Jagged Little Pill Acoustic. 26 lipca wydał pod szyldem wytwórni Atlantic Records drugi album studyjny pt. Mr. A-Z, który uplasował się na piątym miejscu listy Billboard 200 oraz przyniósł mu nominację do nagrody Grammy za „najlepszy album roku”. 12 września rozpoczął długą trasę koncertową, podczas której wystąpił z wieloma artystami, takimi jak Bushwalla czy Tristan Prettyman, z którą skomponował duet „Shy That Way” oraz „All I Want for Christmas Is Us”.