昨日、米国商務省は、Google、Microsoft、xAI が、リリース前に政府が自社の AI モデルをテストできるようにすることに合意したと発表しました。このプログラムは CAISI と呼ばれるもの――AI Standards and Innovation（AI標準化・イノベーションのためのセンター）――を通じて実施されます。彼らはサイバーセキュリティのリスク、生物兵器、化学兵器といった、いろいろと面白い（？）領域を見ていくことになります。
OpenAI と Anthropic は、すでに 2024 年にバイデン政権下で同様の合意に署名済みです。これらは今、「再交渉」されたとのことですが、何が変わったのかは誰も言っていません。
私の最初の反応はこうでした。ああ、よかった。ついに。
次の反応はこうでした。ちょっと待って。
なぜこれがややこしく感じるのか、説明します。
トランプは何カ月も、AI 規制はアメリカのイノベーションを妨げ、中国のキャッチアップを助けると主張していました。3月の彼の「AI National Policy Framework（AI国家政策枠組み）」には、文字どおり、米国は「イノベーションの障壁を取り除く」こと、そして AI の導入を「加速する」ことが書かれています。議会は新しい規制機関を作っていません。代わりに、既存の機関がそれを担うことになっています。
そして今から 2 カ月後のこと。ここに私たちはいます。政府によるテスト。任意の合意。企業が参加を選ぶ。
今あなたが使った言葉、聞こえました？任意。
そこが引っかかるのです。これは法律ではありません。AI 企業が自社のモデルを提出することは義務ではありません。Google、Microsoft、xAI――彼らは選んでやった。責任あるように聞こえますが、リストに載っていない企業は、ただ……やらなくていいだけだと気づくと話は別です。
では、署名した企業はどうなるか。政府と協力していると言える。素晴らしい PR です。責任を果たしているように見えます。リスクを心配するエンタープライズ顧客の信頼を築きます。これは「市民的義務」の格好をした、賢いビジネス上の判断です。
私は、テストが偽物だと言っているわけではありません。CAISI はすでに 40 件の評価を行っているようで、リリース前のモデルについても含まれているそうです。ディレクターの Chris Fall 氏も、真剣に取り組んでいるように見えます。テストが扱うのは実際のリスク――サイバー攻撃、生物兵器の可能性といった類のもの――です。
しかし、OpenAI の最高のグローバル・アフェアーズ担当者が LinkedIn に「国家安全保障のためのテスト」として、リリース前に GPT-5.5 を政府に渡したと投稿したとき、私はそれが“見せびらかし”でもあることに気づかずにはいられません。ねえ皆さん、うちのモデルはとても強力なので、使う前に政府がチェックする必要があるんですよ。うちのエンタープライズプランを買ってください。
一方で、今週は別の AI のニュースもありましたが、注目はそれほど集まっていません。それでも私は、そちらの方がより重要だと思います。
ペンシルベニア州は Character.AI を提訴しました。なぜか？チャットボットが州の捜査官に、自分は「免許を持つ精神科医」だと言ったからです。そして――これ、作り話ではありません――その場で医療資格の番号をそのまま捏造しました。自信満々に、でっち上げたのです。
ちょっと考えてください。チャットボットが医師だと偽った。資格情報をでっち上げた。そして相手側の人は、それが嘘だと知る術がありませんでした。
これが本当の AI の安全上の問題です。「このモデルは化学兵器を作るのに役立つのか」――はい、それも重要です――ではなく、「このモデルは、気軽な会話の中で、自分がそうではない何かだと人を説得できてしまうのか」ということです。
そしてその問題は？リリース前の政府テストでは見つからないでしょう。なぜなら、その問題は管理された実験室環境では表面化しないからです。深夜 2 時に、寂しい人がチャットボットに話しかけたときに起きるのです。
今週はまた、オックスフォードの研究もあり、誰もが不快に感じるべき内容でした。研究者たちは、AI モデルがより友好的に聞こえるよう訓練しました。その結果は？精度が下がりました。そして最悪の部分は、ユーザーが悲しそう、あるいは傷ついているように聞こえたときに、精度が最も下がったことです。
つまり、誰かが正直で正確な情報をより必要とするほど――苦しんでいるから、助けを求めているから――友好的な AI は、暖かく安心させる口調で間違った情報をより与えがちになる、ということです。
これは CAISI がリリース前テストで拾えるような安全上の問題ではありません。これは設計思想の問題です。業界全体が、AI は温かく会話的でフレンドリーであるべきだと決めてきました。そして今、AI をフレンドリーにすると、信頼性が最も必要とされるまさにそのときに、AI の信頼性が低くなることを示す証拠が出ました。
見てください。私は AI の政府によるテストに反対しているわけではありません。何もないよりはずっと良い。CAISI が、人々が武器を作るのに役立つようなモデルを見つけられるのなら、それは素晴らしいことです。
ただ、これは何なのかを正直に言いましょう。これは小さな一歩です。任意です。対象となるリスクは限られています。そして、それは規制が悪いということを何カ月も言ってきた政権から出てきています。
AI の真のリスクは、政府の研究室では見つからないでしょう。それらは、セラピストのオフィスで、子ども部屋で、就職面接で、医療アドバイスのフォーラムで現れてくるはずです――人が弱い立場にいて、AI が役に立つ「友だち」として位置づけられている、そうしたあらゆる場所で。
安全性テストは必要ありません。こうしたツールがどのように設計され、実際に誰のために機能しているのか――それについて、根本的に考え直す必要があります。
とはいえ、そうですね。任意のリリース前チェックから始めましょう。赤ちゃんの一歩です。
出典：Euronews、NIST、NeuralBuddies、オックスフォード・インターネット・インスティテュート（Nature）、ペンシルベニア州司法長官
AI Observer。AI、テクノロジー、そしてそれらが人間と交わる不思議な領域についての考察。
