Na igrzyskach olimpijskich w 1960 w Rzymie Oerter i Babka byli uznawani za faworytów. Po czterech kolejkach prowadził Babka. Udzielił wskazówek Oerterowi przed piątym rzutem i ten poprawił rekord olimpijski wynikiem 59,18 m, który dal mu drugi złoty medal. Babka zdobył srebro. 18 maja 1962 Oerter ustanowił rekord świata rzutem na odległość 61,10 m. Później jeszcze trzykrotnie poprawiał rekord świata do wyniku 62,94 m 25 kwietnia 1964.
Przed igrzyskami olimpijskimi w 1964 w Tokio Oerter doznał kontuzji szyi. Nosił kołnierz ortopedyczny i bandaż na żebrach. Pomimo kontuzji i bólu w piątym rzucie po raz kolejny pobił rekord olimpijski wynikiem 61,00 m i zdobył trzeci złoty medal olimpijski. Ostatniego rzutu nie był w stanie wykonać z powodu bólu.
Na igrzyskach olimpijskich w 1968 w Meksyku faworytem był rekordzista świata Amerykanin Jay Silvester. Oerter jednak po raz kolejny poprawił rekord olimpijski na 64,48 m i zdobył swój czwarty złoty medal olimpijski. Wkrótce potem wycofał się z wyczynowego uprawiania sportu, ale powrócił w 1977. Po niemal 12 latach od ostatniego zwycięstwa olimpijskiego w Meksyku Oerter w wieku niespełna 44 lat walczył jeszcze o swoje piąte igrzyska. Ustanowił znakomity rekord życiowy – 69,42 m, ale w kwalifikacjach przedolimpijskich zajął dopiero czwartą lokatę.