Wkrótce dołączył do jednej z najlepszych drużyn pływackich w kraju, Illinois Athletic Club.
Kariera sportowa thumb|upright|left|Johnny Weissmuller (z lewej) i Duke Kahanamoku na igrzyskach olimpijskich w Paryżu (1924)
W 1921 rozpoczął karierę pływania wyczynowego pod wodzą trenera Billa Bachracha, który dla Weissmullera stał się także ojcem i mentorem. Weissmuller wziął udział w czterech zawodach Amateur Athletic Union (wygrał wszystkie). 27 września 1921 ustanowił swoje pierwsze 2 rekordy świata w AAU – w biegach na 100 m i 150 jardów.
9 lipca 1922 Weissmuller pobił rekord świata Duke’a Kahanamoku na 100 metrów stylem dowolnym, przepływając go w 58,6 sekundy. Zdobył złoty medal na tym dystansie na Letnich Igrzyskach Olimpijskich 1924, pokonując Kahanamoku. Zwyciężył także na 400 m stylem dowolnym i był członkiem zwycięskiej drużyny USA w sztafecie 4 × 200 m.
Cztery lata później na Letnich Igrzyskach Olimpijskich 1928 w Amsterdamie zdobył kolejne dwa złote medale. W tym okresie Weissmuller stał się entuzjastą holistycznych poglądów Johna Harveya Kellogga na temat stylu życia i na temat odżywiania i ćwiczeń fizycznych.