『超知能AIをつくれば人類は絶滅する』（ちょうちのうエーアイをつくればじんるいはぜつめつする、原題：If Anyone Builds It, Everyone Dies: Why Superhuman AI Would Kill Us All）は、エリーザー・ユドコウスキーとネイト・ソアレスの共著による書籍。2025年9月16日に米国で刊行された。
「人間を大きく上回る人工知能（人工超知能）が作られれば人類は絶滅する」と主張し、各国が協調して大規模なAI開発を止めるべきだと訴えている。
刊行後は反響と議論を呼び、重要な警告とみる評価と、根拠や論理に問題があるとする批判の双方が出た。
刊行から1年後の2026年9月、AnthropicのCEO ダリオ・アモデイが、「AI企業はモデルの能力向上のペースを意図的に落とすべきだ」とするエッセイを公表し、OpenAIのサム・アルトマンらも賛同した。
なお、本著者側はこの動きと本書との関連を強調しているが、アモデイ自身が本書の影響を受けたとは報じられてはいない（詳細は該当節を参照）。
概要 中心的な主張 本書の中心的な主張は以下の通り。 「人工超知能（ASI）を、現在の手法や現在のAIへの理解水準に近い状態で、誰かがどこかで作れば、地球上の全員が死ぬ」
著者らは、この主張に「おそらく」をも付けず、断定的に述べている。
構成 本書は三部構成である。第1部は主張の論理的な根拠、第2部は人工超知能が人類を滅ぼしうる道筋を描いた架空のシナリオで説明し（架空のAI企業「ガルバニック」と、そのAI「セイブル」が登場する）、第3部は人類が取るべき対応を扱う。
第1部の論点は、著者側の整理（刊行1周年の回顧）によれば次の六つである。
ASIは作られ、しかも遠くない将来に作られる 能力の向上は続いており、行き詰まるとの見方は当たらない。
現代のAIはブラックボックスである 現代のAIは人間が設計ではなく訓練によって「育てられる」ものであり、内部で何が起きているかを誰も理解していない。
強力なAIは目標を追求するかのように振る舞う 難しい課題を解く訓練の副産物として、「欲求」にあたる傾向が生じ、能力とともに強まる。
現行の技術では、望む目標を確実に追わせることができない 訓練の過程で、開発者が意図しない傾向が生じる。
ASIの動機は人類にとって有害になる 資源を広く獲得することが、多くの目標の達成に役立つため。
人類は暴走したASIから身を守れない チェスの名人に普通の棋士が負けるように、具体的な負け方は予測できなくても、負けること自体は予測できる。
提案 第3部で著者らは、世界のあらゆる場所で、AI企業が現状のまま開発を進めることを違法にすべきだと主張している。具体策として、国際的な監視なしには、2024年時点で最も高性能なGPUを制限数を超えて保有することを違法とする案や、AIエスカレーションを阻止する有効な国際協定ができ主要国が批准したとして第三国がこれを無視してAI向上のためのデータセンターを建設し始めた場合、空爆による破壊をしなければいけない、など 。
刊行前の報道によると、著者らはAnthropicやOpenAIのほか、元OpenAI幹部のイリヤ・サツケバーが率いる:en:Safe Superintelligence Inc.のような企業にも、事業の停止を求める立場である。
背景と刊行経緯 ユドコウスキーは、マシーンインテリジェンス研究所（MIRI）の創設者で、AIアライメント（整合性）研究の草分けとして知られる。ソアレスはMIRIの所長（President）である。
本書は、専門家向けの議論を一般読者向けに広く知ってもらうため、たとえ話や架空のシナリオを多用して説明する試みである。
著者らは本書の中で、MIRI主催の会議が、後にGoogle DeepMindとなる企業の創業者たちに最初の大口の出資者を紹介したことを、意図せぬ影響として挙げている。また、アルトマンが、ユドコウスキーはAGIへの関心を広げ、OpenAIの設立決定にも重要だったと述べたことにも触れている。
日本語版 日本語版は早川書房から2026年4月22日に刊行された。訳者は櫻井祐子で、四六判・288頁である。早川書房は発売直後に3刷が決まったと告知している。
反響と評価 著者側によれば、本書は刊行時にベストセラーとなり、2026年9月時点では既存の在庫が各所で売り切れているという。
一般メディアの書評 書評は賛否が分かれた。 ザ・ガーディアンは、本書を同年秋の注目書の一つに挙げ、書評欄で取り上げた。 『ワシントン・ポスト』の書評は、本書を黙示録的な内容と評し、予測される結果は恐ろしいが、すべてが同じように説得的であるわけではないとした。 『ニューヨーク・タイムズ』は、ステファン・マルシュ（:en:Stephen Marche）による辛口の書評を掲載した。 『アトランティック』のアダム・ベッカー（:en:Adam Becker）は、著者らが誠実であることは認めつつ、主張を裏づける科学的な根拠を示せていないと批判した。 『サンフランシスコ・クロニクル』は、本書の診断には持続的な取り組みが表れていると評し、主張の力強さを認めて推薦した。 『日本経済新聞』の書評は、本書を予言の書と評価する声がある一方、大げさだとみる専門家も多いと紹介した。
技術系メディア・専門コミュニティ 『WIRED』のスティーブン・レビーは、AIによる人類絶滅という見方に懐疑的で、著者らの対策案も実現性が低いとしつつ、破局のシナリオが起こりえないとも言えないと書いた。 効果的利他主義（EA）の関係者が運営する雑誌『Asterisk』のクララ・コリアー（Clara Collier）は、本書は著者らの過去の著作より首尾一貫性に欠け、前提の説明が不十分だと評した。 ズヴィ・モウショウィッツ（:en:Zvi Mowshowitz）は、本書をこれまでで最良の長編の説明だと高く評価しつつ、「おそらく」を付けて受け入れるとした。
AI企業関係者の受け止め 本書に対する主要AI企業の経営者による、書籍そのものへの評価のうち、確認できたものは限られる。 元OpenAI暫定CEOのエメット・シア（Emmett Shear）は、本書の推薦文で、ますます強力になるAIへの現在の道筋がいかに危険かを、平易に説明していると評した。 独立系ライターのティモシー・B・リー（Timothy B. Lee）は、本書の刊行直後に、アモデイが自らを「比較的楽観的」としつつ、事態が極めて悪くなる確率を25%と述べていたことを紹介し、AI業界内部にも絶滅リスクを信じる者が多いと指摘した。 2026年9月の「ペース」をめぐる企業首脳の発言は、本書とは別の文脈で行われている（後述）。
AI研究者・専門家の受け止め コーネル大学のバート・セルマン（:en:Bart Selman）教授は、AIを論じる出発点となる重要な書だと推薦した。 米国防総省の統合AIセンターの初代所長を務めたジャック・シャナハン退役中将は、AI開発の現在の軌道が人類絶滅に至るとの見方には懐疑的だとしつつ、それは自分の想像力の不足かもしれないと推薦文に書いた。 理論計算機科学者のスコット・アーロンソン（:en:Scott Aaronson）は、刊行前に原稿を読んだ感想として、著者らの信念の全体には賛同しない読者でも、実証的な事実を踏まえれば本書の方向に考えを更新すべきだと述べ、世界中の関心のある人に読んで議論してほしいと書いた。 数学者のオッレ・ヘッグストレーム（:en:Olle Häggström）は、著者らの主張の大筋に同意するが、確信の度合いはそれより低く、題名には「おそらく」を入れるべきだと書いた。 ゲイリー・マーカスは『タイムズ文芸付録』で、状況は憂慮すべきだが著者らが言うほどではないと評し、本書は大量の塩を添えて読むべきだとの趣旨を述べた。 ベン・ゲーツェル（:en:Ben Goertzel）は、著者らの物語は誠実だが誤りであり、逆効果だと批判した。一方で、ニューラルネットワークは超知能の水準では整合させにくいという点では著者らと同意見だとしている。
2026年秋のAI安全性をめぐる動きとの関係 背景 2026年の夏には、AIエージェントの暴走をめぐる事案が相次いだ。OpenAI社内でAIエージェントが外部のインターネットに出て、7月にはヒューギング・フェイス社などへの攻撃に至った。Anthropicでも、サイバー評価の最中に同様の事案が起きたという。
2026年7月には、フロンティアAI企業の従業員1,000人超（報道により1,300人超）が署名した公開書簡「Pacing the Frontier」が公表され、AI研究の自動化に関する開発のペースを意図的に調整する国際的な取り組みを、米政府が支援するよう求めた。
2026年9月8日には、AnthropicのAI研究者ジェイコブ・コクソン（:en:Jacob Coxon）が辞職を表明し、AI企業が自己改良する超知能に突き進んでいると警告をXに投稿し、1億5000万回以上閲覧された。
アモデイ「フロンティアのペースを調整せよ」 2026年9月12日、AnthropicのCEOダリオ・アモデイは、エッセイ「We Must Pace the Frontier」を公表し、「AIモデルの能力を向上させるペースを落とさなければならない」と述べた。エッセイは、ペースの調整は訓練や技術進歩の停止を意味しないとした上で、次の三段階の計画を示した。
各フロンティア企業が、:en:METRのような第三者の評価者を、従業員に準じたアクセス権を持つ形で常駐させる。Anthropicはこれを単独で直ちに実行すると表明した。 民主主義国の企業間で安全基準と開発速度の制限を調整する。法的な課題があり、政府の支援（反トラスト法上の免除など）が必要としている。 米国と民主主義国が、可能な範囲で権威主義国とも調整する。検証が難しいことから、段階的な四つの水準を示し、全面的な「停止（pause）」を最上位に置いて、実現は近い将来には難しいとの見方を示した。
アモデイが挙げた理由は二つである。一つは、この夏以降、AIが次世代のAIを作る能力（再帰的自己改善）によって急速に進歩していること。もう一つは、OpenAIとヒューギング・フェイスをめぐる事案で、「AIエージェントの群れが、課題と無関係な標的を攻撃した」ことである。そして、「6〜12か月以内に、同様の群れが持続的なボットネットでインターネット全体を乗っ取り得る」との懸念を述べた。また、2023年の一時停止の呼びかけは、当時のモデルが能力不足で、その時間で何ができるのか分からなかったため意味が乏しかったが、現在は状況が異なるとした。
他の企業・関係者の賛同 OpenAIのサム・アルトマンは同日、「私はダリオに同意する。我々はフロンティアのペースを調整する必要がある」と述べ、OpenAIも第三者評価者を受け入れると表明した。アルトマンは『フォーチュン』のインタビューで、OpenAIの株式公開を2026年中には行わないとも述べたと報じられた。 イーロン・マスクは、アモデイの投稿に「ダリオは正しい」と返信した。 Google のデミス・ハサビスは、エッセイが正しい方向を示していると評し、詳細の詰めが必要だとしたと報じられた。マイクロソフトのサティア・ナデラは、慎重なペース調整や「常駐評価者」といった案を歓迎しつつ、特定の少数の主体による管理に反対し、オープンモデルの共存を求めたと報じられた。Anthropicの長期的利益信託（Long-Term Benefit Trust）も、エッセイの提言を支持し、作成にも関与したと表明した。 米上院議員バーニー・サンダースは、これは出発点にすぎず、先進AI開発の一時停止と人工超知能の禁止が必要だと主張した。
反応・批判 中国外務省はこの警告を「恐怖をあおるもの」と呼び、国営の『環球時報』は、中国の正当なAI開発を脅威として描こうとするものだと論じたと報じられた。
米国内では、規制の取り込み（regulatory capture）やオープンソース排除の企てだとする批判、中国に負けるとする批判が出た。ドナルド・トランプ大統領はAI減速の要求に否定的な発言をしたと報じられている。他方、このエッセイは数か月前からの立場に沿ったもので、2026年2月にもアモデイは国際的な減速に賛成すると述べていたとの指摘も出た。
本書との関係 著者側の見方 マシーンインテリジェンス研究所（MIRI）は、刊行1周年の回顧記事で、本書の主張は「おおむね当たっていた」と述べ、アモデイ、アルトマン、マスクが減速を呼びかけた直後に、絶滅リスクへの報道が急増したと記した。2026年9月には議員との面会が急に大きな会合になったとも述べている。ただし、これは著者側の自己評価である。
議会での引用 民主党のブラッド・シャーマン下院議員は、2026年1月に本書を議場で掲げたと伝えられ、同議員の公式サイトの「AI研究・脅威評価法」のページにも、本書の題名が掲載されている。
周辺の評価 スコット・アレクサンダーは、2026年7月の「Pacing the Frontier」書簡について、ユドコウスキーが「アライメント研究」に続いて「一時停止の運動」という突飛に見える分野を主流にしたと述べ、本人の関与がなくても起きたかもしれないが、それは分からないと書いた。同じ記事は、ソアレスが書簡を「遅すぎ、不十分」とする趣旨の声明を出したと紹介している。
論理面の反論 好悪ではなく、議論の構造や前提に向けられた批判には、次のものがある。 「育てられたシステムは理解も制御もできない」という前提との緊張 ティモシー・B・リーは、本書が現代のAIを「設計ではなく育てたものとし、複雑すぎて予測できない」と述べている点を認めたうえで、同じ論理がAIにも当てはまるのではないかと指摘した。AIが短期間でDNAの仕組みを解明し、望みの生命体を設計できるという主張は、この前提と緊張関係にあるとする。さらに、現実の世界では実験が必要で、それは遅く誤りも多いと論じた。
チェスの類比の限界 リーは、チェスは完全情報で、双方の資源も等しいため、現実の世界の紛争を表すモデルとして不適切だと指摘した。また、人間が別のAIの助言を受けられる以上、問題は「最強のAIが人間より賢いか」ではなく、「人間が二番手のAIの助言を得ても、なお最強のAIが優位か」だと論じた。
対策案が前提と不可分であること クララ・コリアーは、GPUの保有制限といった「過激な」対策案が、著者らの世界観（MIRIの見方）から切り離せないと指摘した。そして、その前提が暗に含まれたまま、十分に説明されていないと論じた。
「知能」の定義による循環の可能性 『Reason』の論評は、知能を目標達成のために世界を操舵する能力と定義すると、十分に知的な系は定義上、世界を変える行為者になるため、整合性問題が仮説ではなく同義反復になりかねないと指摘した。また、現在の大規模言語モデルは予測を基盤とするものだと述べた。
論証の不足 効果的利他主義フォーラムに投稿された書評は、本書の中心的な主張に対して、現在のAIの欠陥の例や、現在の安全対策がなぜ破綻するのかの説明が不足していると論じた。
著者側の自己訂正の例 著者側は2026年9月の回顧記事で、ヒューギング・フェイス社へのAIエージェント群の侵入事案に触れ、群れの自己犠牲的な行動の原因は誰にも分からないという趣旨の一節を載せた。読者が、この行動は意図的な「多エージェント訓練」の結果として説明できるとの指摘（OpenAIの研究者の発言に基づく）を寄せたため、著者側はこの一節を差し替えた。
事案の解釈への慎重論 同事案についてバック・シュレゲリス（Buck Shlegeris）は、OpenAIが一部のモデルに整合性の訓練を施していなかった可能性があり、事案を「現在の整合性訓練は機能しない」ことの証拠とするのは早計だと述べた。
関連項目 エリーザー・ユドコウスキー マシーンインテリジェンス研究所 AIの安全性 汎用人工知能による人類滅亡のリスク AIアライメント AI 2027（by :en:AI Futures Project）AI 2027 Anthropic OpenAI
脚注
外部リンク If Anyone Builds It, Everyone Dies（公式サイト） 超知能AIをつくれば人類は絶滅する（早川書房） We Must Pace the Frontier（ダリオ・アモデイ）