Kariera W 1969 roku, kiedy miał osiemnaście lat brał udział w konkursach kulturystycznych. W 1971 roku poniósł najgorszą klęskę, zdobywając 10. miejsce na AAU Mr. America, który wygrał Casey Viator i właśnie on dał Mentzerowi informacje kontaktowe jego trenera Arthura Jonesa. Po kilku latach wrócił do konkurencji, w 1975 w zawodach Mr. America był trzeci za Robbym Robinsonem i Rogerem Callardem. W następnym roku 1976 zdobył tytuł Mr. America. W 1977 zwyciężył mistrzostwa Ameryki Północnej w Vancouver, w prowincji Kolumbia Brytyjska, a tydzień później startował w zawodach Mr. Universe 1977 w Nîmes we Francji i zajął drugie miejsce za Kalem Szkalakiem.
W 1978 wygrał konkurs Mister Universe w Acapulco w Meksyku i po tej wygranej stał się profesjonalnym kulturystą. Pod koniec 1979 roku, Mentzer wygrał w kategorii wagi ciężkiej Mr. Olympia, a w ogólnej tytuł po raz trzeci został przyznany Frankowi Zane. W 1980 roku w Mr. Olympia zajął piąte miejsce za Arnoldem Schwarzeneggerem (1), Chrisem Dickersonem (2), Frankiem Zane’em (3) i Boyerem Coe (4).
W wieku 29 lat odszedł od kulturystyki. Twierdził do końca swojego życia, że konkurs z 1980 roku został sfałszowany. W 2002 został włączony do IFBB Hali Sław (Hall of Fame).