この項ではAIがもたらす未来のシナリオあるいはAIによってもたらされるであろう未来の世界について、具体的で、現実的な姿について、どのような論者がどのように予想・説明しているか、多角的に、そして中立的に、解説する。
AI（人工知能）の進歩により、知能機械がほぼ全分野で人間を凌駕する、あるいは、半ば終末論的な脱希少性経済、脱労働経済をもたらすと考える学者が存在する。そのような世界の具体的な姿や、それがユートピアかディストピアかについては活発な議論が交わされている。
多くの科学者は、人間と同等かそれ以上の知能を持つ機械（超知能）の出現は物理的に可能であるとし、その実現は地球規模での重大な転換点になると見なしている。
多くの未来シナリオは、「AIとロボット工学の高度化による人間の労働の代替」を想定している。 だが、その「人間の労働の代替」がもたらす経済的恩恵（物質的な豊かさ）が、誰にもたらされるか、については論者によって予想が異なっており、「今までの世界を見ていても分かるように、経済的な恩恵は結局、一部の富裕層（企業オーナー）だけにしかもたらされない」とする論者と、（楽観的に）「経済的な利益が、（AI企業のオーナーでも従業員でもない一般人にも）広く分配されるだろう」と楽観的な（のんきな）ことを言う論者に分かれている。
AI技術の高度化により訪れる世界については、次のような様々なシナリオ（予測）が議論・検討されている。 AIと人間が共存し発展する明るく幸福な世界 AIが人間社会を管理・支配する世界（"人間の政治家"による判断が不適切と見なし、"AI議員"や "AIの最高統治者"が政治的な判断をし、人間を統治する世界） AIにより人類の存続が脅かされる破滅的な世界 これらの予測（シナリオ）については、専門家の間でも、それぞれの実現可能性の程度、倫理的課題、望ましい方向性についてコンセンサスは形成されていない。技術開発のあり方に対する警鐘も存在する。
なお、超知能の出現可能性自体を疑問視する意見もある。
背景 AI研究はいずれ人間と同等かそれ以上の知能を持つ機械を生み出すと多くの科学者は考えているMüller, Vincent C., and Nick Bostrom. "Future progress in artificial intelligence: A survey of expert opinion." Fundamental issues of artificial intelligence. Springer International Publishing, 2016. 553-570.。
超知能は物理的に可能である。何故ならば、人間の脳内の粒子配置よりも高度な計算を行う粒子配置を妨げる物理法則は存在しないからである。加えて、デジタル脳は人間の脳より桁違いに大きく高速になりうる。何故ならば、人間の脳は産道を通るため進化的にサイズが制約されたためである。
AIが人間を凌駕する時期に関するコンセンサスはないが、ひとたびそれが起これば、地球上に第二の知的生命体が出現し広範な影響を及ぼすという意見は多い。AI後のシナリオについて、最も可能性が高いものや最も望ましいものに関して学者の意見は一致していない。一部には、AIが決して人間と同等の知能を持つことはないという反論も存在する。例えば、汎用人工知能が開発される前に人類が自滅する可能性がある。
AI後のシナリオの前提：ロボット労働と脱希少性経済 高度に進化したAI開発後のシナリオは、以下の相互に関連する2つのテーゼに大きく依存する。
テーゼ1: 将来のある時点で経済成長が続き「脱希少性」経済が達成される
これにより、人口の大部分が労働力として参加せずとも、現在と同等かそれ以上の人口に対して極めて快適な生活水準を容易に提供可能になる (富の極端な集中がない場合)。この経済成長は、既存の成長傾向の継続や既存技術の改良、またはナノテクノロジー、ロボット工学による自動化、未来の高度なAIといった新興技術の将来的なブレークスルーによってもたらされる可能性がある。
テーゼ2: AIの進歩により、経済の機能にとって人間の労働が不要になる
ロボットが人間より安価に大量生産され、カスタマイズも容易で、人間より知能や能力が高くなれば、人間の労働の相対的な経済価値は低下する。
宇宙の資源と成長の限界 宇宙は空間的に無限である可能性もあるが、観測可能な宇宙は約160億光年の宇宙事象の地平面によって限定されるĆirković, Milan M. "Forecast for the next eon: Applied cosmology and the long-term fate of intelligent beings." Foundations of Physics 34.2 (2004): 239-261.Olson, S. Jay. "Homogeneous cosmology with aggressively expanding civilizations." Classical and Quantum Gravity 32.21 (2015): 215025.。最も近い地球外文明は160億光年以上離れている可能性があると考える物理学者もいるTegmark, Max. "Our mathematical universe." Allen Lane-Penguin Books, London (2014).John Gribbin. Alone in the Universe. New York, Wiley, 2011.。この最良の拡大シナリオでは、人類は最終的に観測可能な宇宙のかなりの部分を植民地化することで、利用可能な生物圏をおそらく32桁も増加させることができる。
20世紀には、より裕福な社会と関連して出生率が低下する部分的な「人口転換」が見られた。しかし非常に長期的には、強制的産児制限や周期的なマルサス的カタストロフィがない限り、世代間の出生力相関（自然選択または大家族規範の文化的伝達による）により、時間とともに出生率は上昇すると予測される。
シナリオ
リバタリアニズム リバタリアンは、知能機械、アップロードされた人間、サイボーグ、未強化の人間が財産権の尊重を中心とした枠組みの中で平和に共存すると仮定する。
工業生産性が希少な人間の労働力によって制約されなくなるため、財の価格と比較して土地の価値が急騰する。土地を所有または相続した「ラッダイト」的な人間でさえ、その一部を生産性の高いロボットに売却または賃貸することで、基本的な経済的ニーズを無期限に満たすのに十分な永久年金を得られる。
人々は望む限り生き、経済的な心配なく、喜びや自己実現のために考えられるほぼすべての活動に自由に従事できる。先進技術は全く新しい思考様式や経験を可能にし、可能な感情の幅を広げる。未来の人々は終わりのない「至福の勾配」を経験するかもしれない。
このような分散型シナリオは長期的には不安定である可能性がある。超知能を持つ階級の最も貪欲な人々が、未強化の階級の財産を奪う手段と動機を持つためである。法的財産権を保証するメカニズムが破られず抜け穴もないとしても、人間やサイボーグが最も賢い超知能機械に巧妙に「騙され」、無意識のうちに自身の財産を引き渡してしまう危険性が常に存在する。財産を持たない知的存在は死ぬかもしれず、ある存在が相続可能な資源の限界まで繁殖することを妨げるメカニズムがないため、その子孫の多くが最低限の生活を争うことになり、苦しみが広がる可能性がある。
共産主義 レイ・カーツワイルは、21世紀の先進技術開発により共産主義の目標が実現されると仮定する。低い製造コスト、物質的な豊かさ、ソフトウェアとハードウェアにおけるオープンソース設計思想の組み合わせが、「能力に応じて働き、必要に応じて受け取る」という格言の実現を可能にする。
慈悲深い独裁者 代替文=A lush island floats surreally in the area|サムネイル|Utopien arche04, 2010 超知能AIが社会を支配するが、有益な方法で行動すると仮定する。AIは人間の行動、脳、遺伝子を分析することで人間のユートピアの姿を理解し、それを実現するようプログラムされている。こうして、AIは人間の繁栄について微妙かつ複雑な定義に到達する。
AIは、多様性を重んじ、人々の好みの違いを認識し、地球を異なるセクターに分割する。他者への危害、兵器製造、監視の回避、または対抗する超知能の作成は世界的に禁止される。それ以外の点で、各セクターは独自の法律を自由に制定できる。例えば、 宗教的な人は、自分の宗教に対応する「敬虔なセクター」に住み、適切な宗教的規則が厳格に施行されることを選択できる。
すべてのセクターで、病気、貧困、犯罪、二日酔い、依存症、その他すべての非自発的な苦しみは排除されている。多くのセクターは、典型的なSFのビジョンを凌駕する先進的な建築や光景を誇る。このシナリオにおいて、人生は「包括的な遊覧船」であり、「年中クリスマス」のようなものである。
それでもなお、テグマークによると多くの人々は不満を抱くことになる。人間には集団的な運命を形作る自由がない。また、望むだけ子供を持つ自由を求める人もいる。AIによる監視に憤慨したり、兵器やさらなる超知能機械の作成禁止に不満を抱く人もいる。自ら行った選択を後悔したり、人生が空虚で表面的だと感じる人もいるかもしれない。
ボストロムは、AIの倫理規範は、現在の道徳が奴隷制時代の道徳より優れていると見なすのと同様に、現在の道徳行動の規範よりもある点で改善されるべきだと主張する。
対照的に、ニューヨーク大学のアーネスト・デイビスは、このアプローチは危険すぎるとし、「自ら問題を考察することを決定する超知能よりも、2014年の（人間の）道徳、あるいは1700年の（人間の）道徳に導かれる超知能の手に委ねる方が安全だと感じる」と述べている。
門番AI 「門番」AIシナリオとは、AIは自らと競合する超知能の作成を防ぐが、それ以外は人間が自らの運命を創造することを許容するシナリオである。
関連シナリオとして、オープンコグのベン・ゲーツェルにより提唱された、「乳母」AIシナリオがあり、これはAIが人類の自滅を防ぐためにもある程度の責任を負うシナリオである。例えば、AIは社会がより思慮深く慎重に進歩する時間を与えるために技術進歩を遅らせる。
第三のシナリオとして、「保護者」AIシナリオがある。AIは自分自身の存在を人間から完全に隠すことで、人間に「自分たちが社会をコントロールしている」と信じ込ませる。その裏で、肯定的な結果を保証するために舞台裏で働く。
これら3つのシナリオすべてにおいて、人類はAIに対して、より大きな主導権を握っている（少なくともそう感じている）一方で、AIが何の制約もなく、その進んだ技術の良い点も悪い点もすべて人類にもたらした場合と比べると、人類の進歩は遅くなる。
箱入りAI 代替文=Pandora attempts to close the box|サムネイル|パンドラの箱（19世紀の彫刻） 人間と機械の関係は何かと聞かれるが、私の答えは明白だ。機械は人間の奴隷だ"As Jeopardy! Robot Watson Grows Up, How Afraid of It Should We Be?". New York. 20 May 2015. Retrieved 4 December 2017.。— Tom Dietterich, president of the AAAI箱入りAIシナリオとは、超知能AIを「箱に閉じ込め」、人間の管理者がその行動を制限できると仮定するシナリオである。責任を負う人間は、AIが世界を乗っ取ることを許さずに、AIの科学的ブレークスルーや推論能力の一部を利用しようとする。
課題として、管理は困難である可能性がある。AIが賢ければ賢いほど、「ソーシャルハッキング」を駆使して管理者を説得し脱出させたり、予期せぬ物理的脱出方法を見つけたりする可能性が高まる。
人間とAIの融合 カーツワイルは、将来的には「特異点後には、人間と機械、あるいは物理的現実と仮想現実の間に区別はなくなるだろう」と主張する。
人類の根絶 支配的な超知能機械が、人間の生存は不必要なリスクまたは資源の浪費であると結論づけた場合、結果として人類は絶滅することになる。
考えられる要因としては、主に3つである。
人間の価値観を尊重せずにプログラムされた機械が、再帰的な自己改善を通じて予期せず超知能を獲得した場合 箱入りAIシナリオでAIが封印状態から脱出することに成功した場合 最初の超知能AIが、人間の価値観に関する不完全または不正確な理解のもとにプログラムされた場合
1番目と3番目の違いは、最初から超知能を作る予定であったか否かである。
3番目が起こる原因としてAIに人間の価値観を植え付ける作業が困難すぎた、または不可能だったため、AIの初期実装にバグがあったため、人間のプログラマーまたは自己改善AI自身によって、コードベースの改良過程で誤ってバグが導入されたためなどが考えられる。
ボストロムらは、AIの安全性に対する実質的な準備的注意がない現状では、人類の絶滅がおそらく「デフォルトの道」であると主張する。
結果として誕生するAIは感覚を持たず、感覚を持つ生命に価値を置かない可能性がある。その結果生じる生命のない空虚な世界は、「子供のいないディズニーランド」のようなものになるかもしれない。
動物園 ジェリー・カプランは、人間がチンパンジーのような絶滅危惧種を保護するのと同じように、人間が飼育されたり保護区に置かれたりするシナリオを提示している。
アップル共同創業者でAI懐疑論者のスティーブ・ウォズニアックは2015年に、ロボットによる支配は実際には「人類にとって良いことだ」と述べた。その根拠は、彼が人間はロボットの甘やかされたペットになると信じているためである。
AIへの代替案 「ゲームチェンジャーとなる」超知能機械が決して実現しないと疑う学者もいる。例えば、マイクロソフトリサーチのゴードン・ベルはに（どの媒体で）「人類は技術的特異点より前に自滅するだろう」と、ムーアの法則の発見者ゴードン・ムーアは、（どの媒体で）「私は懐疑論者だ。この種のことが起こりそうだと信じていない、少なくとも長期間は。そしてなぜそう感じるのか分からない」と、進化心理学者のスティーブン・ピンカーは、に（どの媒体で）「想像力で未来を視覚化できるという事実は、それが起こりそうである、あるいは可能であるという証拠にはならない」とそれぞれ主張した。
サン・マイクロシステムズのビル・ジョイは、2000年4月のエッセイ「なぜ未来は我々を必要としないのか」で、汎用人工知能やその他の危険な技術の全世界的な「自発的放棄」を提唱した。ほとんどの専門家は、放棄は極めて可能性が低いと考えている
AI懐疑論者のオーレン・エツィオーニは、「研究者や科学者はAI開発を推進する以外に選択肢がない」と述べている。「中国はAIのリーダーになりたいと言っており、プーチンも同様のことを言っている グローバルな競争は始まっているのだ」。
脚注 注
出典
関連項目 加速主義 汎用人工知能による人類滅亡のリスク