Jednak styl zarządzania zespołem przez charyzmatycznego Enzo Ferrariego nie odpowiadał Amerykaninowi i współpraca dobiegła końca po zaledwie jednym sezonie.
W 1960 roku startował w prywatnie wystawionym samochodzie BRM, lecz nie ukończył aż sześciu z siedmiu wyścigów. W efekcie nie zdobył ani jednego punktu. Mimo tych niepowodzeń, Amerykanin znalazł się na celowniku fabrycznej ekipy Porsche – został kierowcą zespołu przez kolejne dwa sezony; w 1962 roku zwyciężył w Grand Prix Francji na torze Rouen. Było to jego pierwsze zwycięstwo w karierze i jedyne w historii startów Porsche w F1.
W latach 1963–1965 startował w zespole Jacka Brabhama. W sezonie 1964 odniósł dwa zwycięstwa (we Francji oraz Meksyku), natomiast w kolejnym pięć razy z rzędu stawał na podium. Po zakończeniu kariery przez Phila Hilla w naturalny sposób został najlepszym amerykańskim kierowcą w F1, jednak nie mógł nawiązać walki o mistrzostwo świata z Jimem Clarkiem oraz Johnem Surteesem.