W 2015 roku razem z Elonem Muskiem, Ilyą Sutskeverem, Gregiem Brockmanem, Johnem Schulmanem i Wojciechem Zarembą założył OpenAI. Założona przez nich organizacja non-profit miała na celu rozwój sztucznej inteligencji dla dobra ludzkości. Peter Thiel i Reid Hoffman przeznaczyli na ten projekt miliard dolarów. W 2018 Musk opuścił organizację. Niedługo później utworzono firmę nastawioną na zysk, która miała finansować prace organizacji. Nawiązano także współpracę z Microsoftem, który miał udostępniać OpenAI swoje usługi.
Usunięcie i przywrócenie 17 listopada 2023 zarząd OpenAI zdymisjonował Altmana ze stanowiska dyrektora generalnego. Członkowie zarządu zarzucili Altmanowi nieszczerość w komunikacji z nimi. Z zarządu usunięto także Grega Brockmana. Wkrótce ponad 700 pracowników OpenAI zagroziło odejściem żądając przywrócenia Altmana na stanowisko. Kilka dni później na platformie X Altman ogłosił powrót do OpenAI dzięki dołączeniu do Microsoftu. 20 listopada Sutskever wyraził swoje ubolewanie z powodu wzięcia udziału w odwołaniu Altmana. 21 listopada członkowie zarządu zgodzili się na rozwiązanie i powołanie nowego, a Altman i Brockman wrócili na swoje stanowiska do OpenAI.