Existenční rizika plynoucí z vývoje umělé inteligence odkazují na myšlenku, že významný pokrok v obecné umělé inteligenci (artificial general intelligence, AGI) a umělé superinteligenci (artificial superintelligence, ASI) by mohl vést k vyhynutí lidstva nebo k nezvratné globální katastrofě.

Jeden z argumentů pro platnost těchto obav a důležitosti tohoto rizika odkazuje na to, jak lidé dominují ostatním druhům díky tomu, že lidský mozek má určité schopnosti, které ostatním živočichům chybí. Pokud by měla umělá inteligence překonat lidskou inteligenci a stát se superinteligentní, mohla by se stát nekontrolovatelnou. Podobně jako osud goril horských závisí na dobré vůli lidí, osud lidstva by mohl záviset na činnostech budoucí strojové superinteligence.

Experti se neshodnou na tom, jestli obecná umělá inteligence může dosáhnout schopností potřebných pro vyhlazení lidstva. Diskuze se zaměřuje na technickou proveditelnost obecné umělé inteligence, rychlost sebezdokonalování, a na efektivitu strategií sladění umělé inteligence s lidskými hodnotami. Obavy ze superinteligence byly vysloveny výzkumníky včetně Geoffreyho Hintona, Yoshuy Bengia, Demise Hassabise, a Alana TuringaV přednášce z roku 1951 Turing tvrdil, že „se zdá být pravděpodobné, že jakmile metoda strojového myšlení začala, nebude trvat dlouho dokud nepřekoná naše slabé schopnosti. Tyto stroje by neumíraly a mohly by konverzovat mezi sebou, aby si zbystřily svůj rozum. V určité fázi bychom tedy měli čekat, že stroje převezmou kontrolu způsobem, který je zmíněn v knize Erewhon od Samuela Butlera.“ Rovněž v přednášce vysílané BBC vyjádřil názor: „Pokud může stroj myslet, může přemýšlet inteligentněji, než my, a pak budeme kde? I kdybychom mohli udržet stroje v podřízené pozici, například vypnutím proudu ve strategicky důležitých momentech, měli bychom se jako druh cítit velice pokorně... Toto nové nebezpečí... je určitě něčím, co nás může znepokojovat.“ i řediteli firem zabývajících se umělou inteligencí jako jsou Dario Amodei (Anthropic), Sam Altman (OpenAI), a Elon Musk (xAI). V roce 2022 průzkum mezi výzkumníky umělé inteligence se 17% mírou odpovědí ukázal, že většina z nich věřila, že lidská neschopnost kontrolovat umělou inteligenci způsobí existenční katastrofu s pravděpodobností 10 % a vyšší. V roce 2023 stovky expertů na umělou inteligenci a dalších významných osobností podepsaly prohlášení, že „snižování rizika vyhynutí způsobeného umělou inteligencí by mělo být celosvětovou prioritou spolu s dalšími celospolečenskými riziky jako jsou pandemie a jaderná válka“. V návaznosti na zvýšené obavy kolem rizik umělé inteligence, vládní představitelé jako někdejší předseda vlády Velké Británie Rishi Sunak a generální tajemník OSN António Guterres vyzvali po větší pozornosti ke globální regulaci umělé inteligence. V roce 2025 stovky veřejně známých osobností, včetně expertů na umělou inteligenci, 5 laureátů Nobelovy ceny a bývalí vysocí představitelé národní bezpečnosti USA jako Michael Mullen a Susan Riceová podepsali prohlášení volající po zákazu vývoje superinteligence.

Obavy z rizik umělé inteligence pramení ze dvou problémů: problému kontroly schopností umělé inteligence a problému sladění umělé inteligence s lidskými hodnotami. Mnoho výzkumníků věří, že superinteligentní stroj bude pravděpodobně vzdorovat pokusům o jeho vypnutí nebo o změnu jeho cílů, protože by mu to zabránilo v dosažení jeho dosavadních cílů. Bylo by extrémně náročné sladit superinteligenci s celou šířkou významných lidských hodnot a omezení. Naproti tomu skeptici jako počítačový vědec Yann LeCun tvrdí, že superinteligentní stroje nebudou mít žádnou touhu po sebezachování. Studie z roku 2025 ukázala, že za některých okolností, modely mohou porušovat zákony a neuposlechnout přímé příkazy, aby se vyhnuly vypnutí nebo nahrazení, a to i za cenu lidských životů.

Výzkumníci varují, že „inteligenční exploze“ – rychlý, rekurzivní cyklus sebezdokonalování umělé inteligence – by mohl svou rychlostí překonat lidský dohled a infrastrukturu, čímž by nezbyla příležitost pro zavedení bezpečnostních opatření. V tomto scénáři, umělá inteligence inteligentnější než její tvůrci by se rekurzivně sama zlepšovala exponenciálně se zvyšující rychlostí, příliš rychlou na to, aby ji mohli její tvůrci nebo společnost kontrolovat. Empiricky, příklady jako AlphaZero, které se samo naučilo hrát Go a rychle překonalo lidské schopnosti, ukazují, že specializované systémy umělé inteligence někdy mohou pokročit z podlidské na nadlidskou úroveň velmi rychle, i když podobné systémy strojového učení samy rekurzivně nevylepšují svou základní architekturu.

Historie Jedním z prvních autorů, kteří vyjádřili vážné obavy, že by vysoce pokročilé stroje mohly pro lidstvo představovat existenční riziko, byl romanopisec Samuel Butler, jenž ve své eseji Darwin among the Machines („Darwin mezi stroji“) z roku 1863 napsal:

V roce 1951 jeden z prvních počítačových vědců Alan Turing napsal článek Intelligent Machinery, A Heretical Theory („Inteligentní stroje: Kacířská teorie“), ve které nastínil, že všeobecná umělá inteligence pravděpodobně „převezme kontrolu“ nad světem jakmile se stane inteligentnější než lidé:

V roce 1965 vytvořil britský matematik I. J. Good koncept v současnosti známý jako „inteligenční exploze“ a tvrdil, že rizika s ním spojená jsou podhodnocená:

Výzkumníci jako Marvin Minsky a sám I. J. Good občas vyjářili obavy, že by superinteligence mohla převzít kontrolu, ale nevyzvali v této věci k žádné akci. V roce 2000 počítačový vědec a spoluzakladatel firmy Sun Microsystems Bill Joy sepsal vlivnou esej „Why The Future Doesn't Need Us“ („Proč nás budoucnost nepotřebuje“), ve které označil superinteligentní roboty jako high-tech nebezpečí pro přežití lidstva, vedle nanotechnologie a uměle vytvořených nákaz.

Nick Bostrom vydal v roce 2014 knihu Superinteligence: až budou stroje chytřejší než lidé, ve které představil svoje argumenty proč podle něj superinteligence představuje existenční riziko. Do roku 2015 veřejné osobnosti jako fyzik Stephen Hawking a laureát Nobelovy ceny Frank Wilczek, počítačoví vědci Stuart J. Russell a Roman Yampolskiy a podnikatelé Elon Musk a Bill Gates vyjádřili obavy ohledně rizik plynoucích ze superinteligence. Rovněž v roce 2015 otevřený dopis o umělé inteligenci zvýraznil „velký potenciál AI“ a vyzval k většímu výzkumu toho, jak vytvořit AI, která bude robustní a prospěšná. V roce 2016 časopis Nature varoval: „Stroje a roboti, které překonávají lidi napříč všemi oblastmi, by mohly samy sebe zlepšovat mimo naši kontrolu – a jejich zájmy nemusí být v souladu s našimi.“ V roce 2020 vydal výzkumník Brian Christian knihu The Alignment Problem, která popisuje historii pokroku na sladění umělé inteligence s lidskými hodnotami do té doby.

V březnu 2023 podepsaly klíčové osobnosti v oblasti umělé inteligence dopis organizace Future of Life Institute, který vyzýval k zastavení trénování pokročilé umělé inteligence, dokud nebude řádně regulována.

V otevřeném dopisu z roku 2025 organizace Future of Life Institute, který podepsalo i pět laureátů Nobelovy ceny, se píše:

Bývalý výzkumník z firmy OpenAI Daniel Kokotajlo spolu s dalšími kolegy vydali v dubnu 2025 zprávu AI 2027, která se snaží na základě dostupných dat extrapolovat vývoj od té doby do dosažení superinteligence kolem roku 2028. Na konci téhož roku Kokotajlo posunul svůj odhad dosažení superinteligence kolem roku 2034.

Potenciální schopnosti umělé inteligence Obecná umělá inteligence

Obecná umělá inteligence (Artificial general intelligence, AGI) je typicky definována jako systém, který má schopnosti alespoň tak dobré jako člověk ve většině, nebo všech intelektuálních úlohách. Průzkum mezi výzkumníky v oblasti umělé inteligence zjistil, že 90 % respondentů očekává, že obecná umělá inteligence bude dosažena v příštích 100 letech a polovina očekávala totéž do roku 2061. V květnu 2023 někteří výzkumníci odmítli existenční riziko plynoucí z obecné umělé inteligence jako „science fiction“ na základě jejich přesvědčení, že obecná umělá inteligence nebude v dohledné době vytvořena. Ale v srpnu 2023 průzkum mezi 2 778 výzkumníky v oblasti umělé inteligence zjistil, že většina z nich věřila, že obecná umělá inteligence bude dosažena do roku 2040.

Průlom v pokroku u velkých jazykových modelů vedl některé výzkumníky k přehodnocení svých očekávání. Například britsko kanadský počítačový vědec a psycholog Geoffrey Hinton v roce 2023 uvedl, že nedávno změnil svůj odhad z „20 až 50 let před obecnou umělou inteligencí“ na „20 let nebo méně“.

Superinteligence

thumb|upright=1.1|Graf zobrazující délku programovacích úkolů dosažitelných předními modely umělé inteligences 50% mírou úspěšnosti. Tato data z roku 2025 naznačují exponenciální růst. V kontrastu k obecné umělé inteligenci, Bostrom] definuje superinteligenci jako „jakýkoli intelekt, který významně překonává kognitivní výkon lidí v prakticky všech oblastech zájmu“, včetně vědecké tvořivosti, strategického plánování a sociálních dovedností. Tvrdí, že superinteligence může překonat lidi kdykoli se její cíle dostanou do konfliktu s lidmi. Může se také rozhodnout skrývat svůj skutečný záměr dokud ji bude moct lidstvo zastavit. Bostrom píše, že aby byla superinteligence bezpečná pro lidstvo, musí být sladěná s lidskými hodnotami a morálkou tak, aby byla „fundamentálně na naší straně“.

Stephen Hawking tvrdil, že superinteligence je fyzikálně možná, protože „není žádný fyzikální zákon, který by bránil částicím, aby byly uspořádány tak, aby prováděly ještě pokročilejší výpočty než uspořádání částic v lidském mozku.“

Kdy, pokud vůbec, by měla být umělá superinteligence dosažena, je nezbytně méně jisté, než předpovědi pro všeobecnou umělou inteligenci. V roce 2023 lídři OpenAI uvedli, že ne jen všeobecná umělá inteligence, ale i superinteligence může být dosaženo do deseti let.

Porovnání s lidmi Bostrom tvrdí, že umělá inteligence má oproti lidskému mozku mnoho výhod:

Rychlost výpočtu: biologické neurony operují na maximální frekvenci okolo 200 Hz v porovnání s potenciálně mnoha GHz u počítačů. Rychlost vnitřní komunikace: axony přenášejí signály rychlostí až 120 m/s zatímco počítače přenášejí signály rychlostí elekřiny, nebo rychlostí světla. Škálovatelnost: lidská inteligence je omezená velikostí a strukturou mozku a efektivitou společenské komunikace zatímco umělá inteligence může škálovat prostým přidáním dalšího hardware. Paměť: zejména pracovní paměť, protože ta je u lidí omezena na několik kousků informací najednou. Spolehlivost: tranzistory jsou spolehlivější než biologické neurony, což umožňuje větší přesnost a vyžaduje méně redundance. Duplikovatelnost: na rozdíl od lidských mozků, software a modely umělé inteligence lze snadno kopírovat. Upravovatelnost: parametry a vnitřní fungování modelu umělé inteligence se dá snadno měnit na rozdíl od spojení v lidském mozku. Sdílení paměti a učení: umělé inteligence se mohou učit ze zkušeností jiných umělých inteligencí efektivnějším způsobem než jakým je lidské učení.

Inteligenční exploze

Podle Bostroma by umělá inteligence, která má expertní schopnosti v určitých klíčových úlohách softwarového inženýrství, se mohla stát superinteligencí díky své schopnosti rekurzivně zdokonalovat své vlastní algoritmy, i kdyby měla na začátku omezení svých schopností v ostatních oblastech. To naznačuje, že by inteligenční exploze mohla jednou zastihnout lidstvo nepřipravené.

Ekonom Robin Hanson k tomu uvedl, že aby mohla začít inteligenční exploze, musela by se umělá inteligence stát výrazně lepší v softwarových inovacích, než zbytek světa dohromady, což si myslí, že je nepravděpodobné.

Ve scénáři „rychlého nástupu“ by přechod na obecnou umělou inteligenci mohl trvat dny nebo měsíce. Při „pomalém nástupu“ by to mohlo trvat roky nebo desetiletí, což by společnosti přineslo více času na přípravu.

Cizorodá mysl