W 1927 Weissmuller ustanowił nowy rekord świata na 100 jardów stylem dowolnym wynoszący 51,0 sekundy, który utrzymywał się przez 17 lat. Poprawił go do 48,5 sekundy na Światowych Targach Aquacade Billy’ego Rose’a w 1940, w wieku 36 lat, ale wynik ten został odrzucony, ponieważ rywalizował jako zawodowiec.
Jako członek reprezentacji Stanów Zjednoczonych w piłce wodnej mężczyzn w piłce wodnej zdobył brązowy medal na Letnich Igrzyskach Olimpijskich 1924. Brał także udział w Igrzyskach Olimpijskich w 1928, gdzie reprezentacja USA zajęła siódme miejsce.
W sumie Weissmuller zdobył pięć złotych medali olimpijskich i jeden brązowy medal, 52 mistrzostwa Stanów Zjednoczonych i ustanowił 67 rekordów świata. Był pierwszym człowiekiem, który przepłynął stylem dowolnym na 100 metrów w czasie krótszym niż jedna minuta i stylem dowolnym na 440 jardów w czasie krótszym niż pięć minut. Nigdy nie przegrał zawodów i przeszedł na emeryturę z niepokonanym rekordem amatorskim. W 1950 Associated Press uznała go za najwybitniejszego pływaka pierwszej połowy XX wieku.