操縦士のあいだに昔からあるジョークがあります。自動化によって飛行はこれほど安全になり、しかも退屈になったので、最大のリスクは今や操縦士が飛び方を忘れてしまうことだ。 このジョークが面白くなくなったのは、ずいぶん前のことです。2009年、エールフランス447便の乗務員は、自動操縦が扱いきれない状況に直面しました――凍りついた速度センサー、矛盾する表示、夜の大西洋。 システムは操縦権を人間に返しました。 人間は、何年も自分たちの仕事を機械に代わりにやらせて監視してきたにもかかわらず、何をすべきか分かっていませんでした。 乗っていた全員が亡くなりました。
これはAIの問題ではありません。 自動化への“おごり”の問題です。 そして今から100年後、これは文明において最も危険なダイナミクスになるでしょう。
パターンはこうです。 機械が何かをうまくやる。 次に、さらにうまくやる。 そして、人間がそれを見守ることに注意を払わなくなるほど、あまりにも良くなる。というのも、変化のない警戒は、人間の脳が持続できるようには設計されていないからです。8時間ダッシュボードを見つめ続けて冴えを保つことはできません。 AIの診断出力を100回目に見直して、最初に向けたのと同じ厳密さを保つこともできません。 機械が良くなればなるほど、人間の重要性は薄れていきます。 そして、人間が決定的に重要になるその一度には、すでに人間は身構えを終えている。
私たちはこれを知っています。 数十年前から分かっていました。 そして私たちの対応は、圧倒的に、機械をさらに良くして人間の重要性をさらに減らすことでした。つまり、ループから人間を完全に工学的に排除することです。
これは――うまくいく、うまくいくんですが。
今から1世紀後、AIは想像を絶するほど高能力になるでしょう。 医師が到底近づけない精度で病気を診断する。 法的なケースを、裁判官がキャリアの中で読むよりも速い秒間のうちにより多くの先例を処理して評価する。 そして戦場での判断を、どんな人間の指揮系統よりも速く下す。 それぞれの領域には、機械を監督することが仕事の人たちがいるはずです。 チェックであること。フェイルセーフであること。 何か取り返しのつかないことが起きる前の、最後の人間の目の組。
そうした人たちは、退屈で頭がおかしくなるでしょう。
そこで、人工的な愚かさをデザイン哲学として導入します。つまり、AIシステムに対して意図的に不完全さ、ためらい、そして不確実性を注入することです。なぜなら、それらを良すぎる状態にしてしまうと、周囲の人間が悪くなるからです。
自分で解決できたはずの案件を、たまにフラグ（警告）として立てるAI。 すでに診断に99.8%の確信があるにもかかわらず、その診断を下す上で医師に判断材料を加えるよう求めるAI。 軍事的な決定の前に一拍置き、要するに本当に大丈夫ですか？と言う――確認が必要だからではなく、人間が考える習慣を保ち続ける必要があるからです。
掲載： https://aiweekly.co/issues/475#start
これは無駄に見えます。 そして実際無駄です。 それが狙いです。
代替案は、人間が技術的には指揮権を持っているのに、機能的には眠っている世界だからです。 見ての通り、監督が紙の上には存在するが、他のどこにも存在しない。 外科医がAIの計画を、あなたが利用規約を確認するときのように見直す――下までスクロールして同意をクリックするだけ。
難しいのは、人工的な愚かさには支持母体がないことです。 システムを遅くしたことで昇進する人はいません。 自分のAIが自分自身を二度推測すると宣伝して、企業が市場シェアを獲得することもありません。 インセンティブはすべて、より速く、より賢く、より自律的にする方向を向いています。 つまり摩擦を取り除く方向です。
しかし摩擦こそが、人間の判断を生かしているものです。 決断の前の一拍。 確信が持てないという不快感。 機械の提案を機械的に承認するのではなく、実際に代替案を比較衡量するための認知的な労力。 それを取り去れば、監督はなくなります。 心臓が脈打つだけの“ゴム印”が残るだけです。
100年後に最も重要になるAIシステムは、最も賢いものではありません。 人間の側が周りで目を覚まし、関与し、そして機械だけではできない唯一のこと――「その機械は間違っている」と判断すること――を遂行できるようにするだけの、意図的な不完全さを備えて設計されたものになるでしょう。
未来の最良のAIは、私たちを必要としないものではありません。 むしろ、それが間違っているかもしれないということを、決して私たちに忘れさせないAIです。
追伸。今回の新しい研究が示すように、AIの出力に対して人間がそれを争ったり検証したりすることへの、見かけ上の根本的な不能があるという点は、さらに考えるべき重要性が高いように思えます。AIの出力の規模がこの先ますます大きくなるにつれて、人類はこの出力をまったく検品できないかもしれません...
いつも通り、みなさんの考えを読むのを楽しみにしています！ Alexis
[link] [comments]
