W latach 1951–1953 służył w jednostce filmowej sił powietrznych USA, w randze porucznika w wojnie koreańskiej, reżyserując filmy dla armii. Po opuszczeniu jednostki filmowej USA Siły Powietrzne, Frankenheimer zapewnił sobie stanowisko asystenta reżysera w stacji CBS w Nowym Jorku. Jego pierwszą pracą reżysera telewizyjnego był odcinek serialu You Are There – pt. Spisek przeciwko królowi Salomonowi (1954) z Walterem Cronkite w roli narratora. W 1954 przeniósł się do Kalifornii i kontynuował współpracę z CBS, reżyserując odcinki Climax! (1955–1956) i Playhouse 90 (1956–1960). Frankenheimer zadebiutował jako reżyser w filmie fabularnym Obcy chłopiec (The Young Stranger, 1956) z udziałem Kim Hunter. Jego dramat Wszystkie mu ulegają (All Fall Down, 1962) na podstawie sztuki Williama Inge’a z Eva Marie Saint i Warrenem Beatty na Festiwalu Filmowym w Cannes nominowany był do Złotej Palmy. Był dwukrotnie nominowany do Złotego Globu dla najlepszego reżysera – dreszczowca Przeżyliśmy wojnę (The Manchurian Candidate, 1962) i dramatu politycznego Siedem dni w maju (Seven Days in May, 1964).