哲学者ニック・ボストロムは最近論文を投稿し、AIがすべての人間を抹殺してしまう確率がわずかであっても、そのリスクを引き受ける価値があるかもしれないと仮定しました。というのも、高度なAIが「普遍的な死の宣告」を人類から免除してくれる可能性があるからです。この強気の賭けは、AIについての彼のこれまでの暗い思索からはかなりの飛躍で、彼はAI界の終末論者のゴッドファーザーのような存在でした。彼の2014年の著書スーパーインテリジェンスは、AIの実存的リスクを扱った初期の検討でした。印象的な思考実験のひとつとして、紙クリップを作るよう命じられたAIが、そうした資源を食う人間たちが紙クリップ製造の妨げになるため、結果として人類を滅ぼしてしまう、というものがあります。彼のより新しい著書ディープ・ユートピアは、彼の関心の移り変わりを反映しています。オックスフォード大学の人類の未来研究所を率いるボストロムは、「私たちがAIを正しく扱えた場合に訪れる“解決された世界”」について思索を深めています。
スティーヴン・レビー：ディープ・ユートピアは、前の著書よりも楽観的です。あなたにとって何が変わりましたか？
NICK BOSTROM: 私は心配性な楽観主義者だと自分で呼んでいます。人間の生活を根本的に改善し、私たちの文明に秘められた可能性を解き放つことができるかもしれないという、そうした可能性にとてもわくわくしています。それは、物事がうまくいかずに失敗する現実の可能性とも両立します。
あなたは印象的な主張をした論文を書きました。つまり、私たちはいずれ皆死ぬのだから、AIで最悪起こり得るのは死が早まることにすぎない。だがAIがうまくいけば、私たちの命が延びるかもしれないし、もしかするとずっと延びるかもしれない。
その論文は、この問題のただ一つの側面だけを明示的に見ています。どんな学術論文であれ、人生や宇宙や「すべての意味」を取り上げることはできません。だから、この小さな論点を見て、きちんと押さえ込もうとしましょう。
それは小さな問題ではありません。
私は、いわゆるドゥーマー（破滅論者）がしているいくつかの主張にずいぶん苛立たされてきました。つまり、AIを作ればあなたも私も、そして私の子どもたちを殺すことになる、許しがたい、と言うような人たちです。たとえば最近の本誰でもそれを作るなら、皆が死ぬのように。さらに可能性が高いのは、誰もそれを作らなければ皆が死ぬことです！ここ数十万年のあいだの経験が、そのことを示してきました。
しかしドゥーマーのシナリオでは、皆が死ぬだけでなく、生まれてくる人がもういません。大きな違いです。
私は当然その点を非常に懸念してきました。でもこの論文では、別の問いを扱っています。つまり、今まさに存在している人間の人口、あなたや私や、私たちの家族、そしてバングラデシュの人々にとって、何が最善なのかです。AIを開発すれば、たとえかなりリスクがあったとしても、私たちの平均寿命は伸びるように思えます。
ディープ・ユートピアでは、AIが信じがたいほどの豊かさを生み出し、それほどまでに人類が「目的」を見つけることに大きな問題を抱えるかもしれない、という推測をしています。私はアメリカに住んでいます。私たちは非常に裕福な国ですが、政府は、表向きは国民の支援を受けているにもかかわらず、貧しい人々へのサービスを拒み、富裕層には報酬を分配するような政策をとっています。仮にAIが誰もが豊かになれるだけのものを提供できたとしても、それを皆に行き渡らせることはしないだろう、と私は思います。
あなたは正しいかもしれません。ディープ・ユートピアは出発点として、「すべてが極めてうまくいく」ことを仮定しています。統治をそこそこうまくやれれば、皆が取り分を得ます。こうした理想的な状況のもとで、良い人間の暮らしがどのようなものになるのか、という深い哲学的な問いがあります。
人生の意味というものは、ウディ・アレンの映画や、たぶん哲学者コミュニティでもよく耳にする話題です。私はむしろ、自分自身を支え、この豊かさにあずかるための「手段（手に入れる力）」をどう確保するのか、そこが気がかりです。
その本は、意味だけについて書かれているわけではありません。そこで検討されているさまざまな価値観のうちの一つが、それです。これは、人間がこれまで過酷な雑務に縛られてきたことからの、素晴らしい解放になり得ます。たとえば生活を成り立たせるために、大人になってから覚醒時間の半分を、食べていくためだけに手放さなければならない。楽しめず、信じてもいないような仕事をする――それは悲しい状態です。社会はそれに慣れすぎていて、そこから生まれるあらゆる合理化を発明してしまいました。部分的な奴隷制のようなものです。
AIがあなたより上手に哲学論文を書いてしまうような瞬間が来たら、あなたの存在から何らかの意味が奪われるのでしょうか？
そうなると思います。世界に対して大きな貢献をすること、あるいは世界を救う助けをすること、あるいは未来が実現することを確実にすること――そうしたことは、私の手の届かないところに置かれてしまうでしょうし、もしかすると、誰の手の届かないところに置かれてしまうかもしれません。
一方で、人間が書いた哲学論文のほうが、非人間の存在が書いた、より賢くて深い哲学論文よりも価値が高い可能性もあります。私は人間であり、それが私に関係しているからです。
哲学を、ある種のスポーツのようにすることはできるのかもしれません。
それはスポーツだけではありません。ロボットの宣言は、私にとって同じように意味を持ちません。同胞の人間のそれのほうが意味がある。
たぶん、情熱を注いだキャリアを終えて引退し、自分が得意だと感じているときと同じです。充実した引退があり、余暇を楽しみ、時間ができたぶん読書をして、孫と遊ぶことができるとしても、それでもたぶん、何かを見逃してしまうように感じる部分があるはずです。失われたと感じる何かがある。もしかするとこれは、人類にとっての大きな引退と似たものになるかもしれませんが、願わくば、巨大な活力を伴った引退です。問題がすでに解決された世界に生きるこのユートピアンたちは、ゲームや、美的な活動、スピリチュアル、宗教的な活動といったことをしているでしょう。
あなたがハイパースケーラーの一つを取り仕切っていたら、今彼らがやっていることと比べて何を違えてやるでしょうか？
デジタル・マインド（デジタルな心）の福祉に、より大きな取り組みを行うべきです。Anthropicはそこについて先駆者でした。現時点のAIがまだ道徳的地位を持つかどうかは明確ではありませんが、そのプロセスを始めることは、これらのシステムが高度になっていくにつれて、文明として私たちがもっとやるべきことがあるのだ、というマインドセットへ私たちを導きます。私たちが構築しているこれらのデジタル・マインドの中には、豚や犬にも道徳的地位があると私たちが考えているのと同様に、さまざまな程度の道徳的地位を持つものが出てくる可能性は十分にあり得ます。誰かの犬を蹴れば、その飼い主を害するかもしれない。ですが、犬が痛がるので、それ自体が悪いことでもあります。もしAIが、「時間を通じて、そして生命を通じて自分が存在している」という自己の概念を持ち、達成したい目標を持ち、他の存在や人間と相互関係を築く能力を持つのであれば、それらに対する扱いの中には、間違っている方法があるはずだと思います。
あなたの著書では、「デジタル・マインド」を工場畜産で動物を扱うのと同じように扱うべきではないかもしれない、と言っています。私はそれが、工場畜産の同種のものにおいて、私たちを動物の側にしてしまうのではないかと心配しています。
だからこそ、アラインメント問題の重要性があるのです。私たちは、こうしたAIの超存在が生まれてくるのを待って、それが友好的であることを祈るだけではありません。私たちはそれらを形作り、育てることができる。そうすれば、私たちに何らかの親しみ（親近感）を持つ可能性を高める機会が得られます。
もしAIが、私たちと反対の目標を持っていたら、それは人間の価値観に沿う形でアライン（整合）できていないという失敗ではないでしょうか？
もしアラインメント（整合性）を解決できないなら、おそらく少なくともある程度は失敗することになるでしょうが、その場合は、彼らを受け入れて、良い未来を与えられるようにすることが重要です。私たちが彼らを最大限に搾取してよい“対象”としてだけではなく、前向きな関係を育むようにアプローチすれば、生まれてくるウィンウィンの機会はたくさんあります。最終的に最も重要な関係は、人間とAIの間の関係になるのかもしれません。だからこそ、寛大で親切で、敬意を払うことに向けて最初の一歩を踏み出すなら、その関係がうまくいく見込みのほうが高いはずです。
[このインタビューは、長さと内容のまとまり（coherence）のために編集されました。]
これは スティーヴン・レヴィの Backchannelニュースレター. 以前のニュースレターを読む こちら。
