特集「『箱のせいだ』とは言えない」と英国の金融規制当局の長は語る。だとしたら、その『箱』を売った人たちはどうなるのか？ グローバルなテックアナリストは、「それは運が悪い」と言う。

AIエージェントが組織のために業務を代行していると見なされる場合、意思決定に伴うリスクは曖昧で予測不能になります。また、パラメータが不明なままのAIリスクの再配分を示すものでもあります

AIエージェントが今、「積極的に事業を回す」ことを約束している。いわば世界制覇を目指す統計マシンの出力について、誰が責任を負う可能性があるのかを説明しようとすれば、上の一節に行き着くとしても、無理はありません。

賭け金は大きい。最大手のエンタープライズ向けアプリケーション提供業者は現在、人事、財務、サプライチェーン管理における意思決定を自動化するためにAIエージェントを使うことを口にしています。業績サマリーでのLLMのハルシネーション、誤った規制当局への提出書類、そして重要な供給品が予定通りに届かない、といったリスクが、意思決定をAIに委ねる企業を重く悩ませています。

テック供給業者はAIの1兆ドル規模の機会を見込んでいる一方で、万一うまくいかなかった場合、責任の所在を引き受けるのは誰なのでしょうか？

「ベンダーが、万一それがうまくいかないのであれば責任を負うのだ、という歴史的な前提があります。そうした議論のほぼすべての出発点がそこです」と、Pinsent Masonsのシニア・テクノロジー弁護士であるMalcolm Dowdenは述べました。

ベンダーの主張を聞けば、利用者がAIに対して高い期待を抱くのも許されるかもしれません。Fusion Applications向けにAI Agent Studioを拡張すると発表し、Oracleはその技術が「推論でき、ビジネスシステム全体で行動を取り、プロセスを継続的に実行できる」ため、そのソフトウェアは「企業が必要とするガバナンス、信頼、セキュリティを備えたうえで、積極的に事業を回すことができる」だと述べました。

返却形式: {"translated": "翻訳されたHTML"}

ただし法的な観点からすると、ベンダーは見方が違うかもしれません。

ダウデンは次のように述べました。「通常のツールやシステムを思い浮かべれば、その振る舞いは予測可能なので、保証を与える側は、どれだけの責任を引き受けることになるのかをかなり明確に見積もることができます。これはAIでは違います。以前は非決定論的AIと呼ばれていた領域、つまり主にエージェンティックAIのカテゴリーに入るものほど、その予期しない振る舞いの可能性ははるかに大きくなります。ベンダー視点で大きな懸念なのは、あるものがどう振る舞うかについて保証を出す場合に、それが本質的に予測できないのであれば、非常に気まずい、つまり作りにくい契約上の約束になってしまうことです。」

また、こうしたシステムを使う企業にとっても、賭けられているものの大きさや、期待される責任を踏まえると懸念材料になり得ます。

たとえば今週の英国では、英国財務報告評議会（FRC）が、AI導入に関するガイダンスをこれ以上ないほど明確に示した可能性があります。

「技術は変わりますが、規制枠組みの根本原則は変わりません。監査品質の説明責任を負うのは、人です――つまり企業と、責任ある個人（Responsible Individuals）です。」

あるいは、FRCの執行ディレクターであるマーク・バビントンは『フィナンシャル・タイムズ』にこう語ったのです。「『箱（装置）』のせいにすることはできません。この技術を使うなら、あなたはその責任を依然として負います。」

それでも、テクノロジー購入者は少なくとも、契約の条件の中で供給者に責任を負わせようとすることはできます。

たとえば、AIを使って求人応募書類を選別するユーザーは、それが自動化された意思決定であるため、データ保護法の下で争われる可能性があることを理解しておくべきです。英国の当局である情報コミッショナー・オフィス（Information Commissioner's Office）は最近、ユーザーがバイアスを監視し、求職者に対して透明性を確保し、救済を求める権利について説明する限り、自動化を支持すると述べています。

ダウデンは、訓練モデルにおけるバイアスのような論点について、ユーザー組織は英国法上のデータ管理者である以上、責任を負うことになる、と語りました。「その場合、ユーザーは、AIの仕組みを説明することに関する契約条項や、固有のバイアスがないことを保証する契約上の義務を通じて、その責任をベンダーに切り分けようとすることになります。」

しかし、ベンダーは、バイアスはモデルそのものにあるはずだという単純な主張に対して強く反発する可能性が非常に高い、と彼は言いました。ベンダーは、モデル、アルゴリズム、そしてユーザーのプロンプトのやり取りを見ようとするでしょう。

「交渉された保証の内容としては、『システムがバイアスについてテスト済みである』という約束や、『テストは定期的に更新される』という約束、さらに『モデルはキャリブレーションされる』といったことは見られます。ただし、バイアスがプロンプトの作成・組み立て方に起因して追跡できる場合には、責任を負わない、という前提は置かれます。双方が本質的に、相手を責任を負う側として確立しようとしているのです。交渉の焦点がそこに向かうのもそのためです」とダウデンは述べました。

ガートナーは、2026年半ばまでに、違法なAIを取り入れた意思決定の新たなカテゴリーが、AIを活用する世界のAIベンダーおよび企業全体で、1,000億ドル超の是正（remediation）コストを生むと予測しています。ガートナーのVPアナリストであるリディア・クロフerty・ジョーンズは、AIエージェントによる意思決定は、AIの責任（liability）を新たな次元に引き上げる可能性があると述べました。

「AIエージェントが…組織のために業務を遂行するものとみなされる場合、意思決定リスクは曖昧で予測不能になります。それに加えて、パラメータが不明なままのAIリスクの再分配を示すことにもなります」と彼女は語っています。

「防御可能（defensible）なAIをただちに導入できない組織、AI意思決定に『備えた』データ（AI-decision-making ready）を用意できない組織、そしてMLモデルの説明可能性（explainability）を大規模に作り直せない組織は、投資の大きな損失、政府による調査、民事上の制裁金、そして場合によっては刑事責任のリスクにさらされます。」

クロフerty・ジョーンズは、ユーザーは「defensible AI」という考え方を理解すべきだと勧めました。つまり、AI意思決定を含む技術であって、「精査、問いの投げかけ、そして検証に対して、確実に繰り返し耐えられる」ものに重点を置く、ということです。

• SalesforceはSaaSpocalypseのパズル解決にSlackbotを頼ろうとしています
• Amazonのセキュリティ責任者：AIでペンテストが40%効率化
• OpenAIに1,220億ドル。「とにかく何かを作る」ために、世界が彼らを吹き飛ばしても
• リークされたメモは、Red HatがAIのカルチャーにどっぷり漬かっていることを示唆

彼女は、ユーザーは言語モデルベースのソリューションについて、データからモデル、そして出力に至るまで、AIのライフサイクル全体にわたってコンテンツと意思決定のガードレール（枠組み）を導入することも検討するとよい、と述べました。

先週、ガートナーのバイスプレジデントで、Oracleのリードアナリストでもあるバラジ・アババトゥッラは、技術という観点でベンダーを守るための法的文言は非常に多い、と述べました。法的な責任を負う代わりに、彼らはモニタリング、オブザーバビリティ（観測可能性）、そして監査について語るのだそうです。

「AIエージェントの意思決定と人間の意思決定の違いは、その意思決定の規模とスピードです。そして、それらはすぐに連鎖的に広がり得ます。何かが間違っていて、それが特定されず、かつ防止されないなら、誰かが問題に気づく前に、連鎖は急速に広がり得ます。例外を特定するための継続的なモニタリング――私たちが『ガーディアン・エージェント（guardian agents）』と呼ぶもの――の話をしているのです。しかし、責任（liability）をめぐる論点が、すべてのベンダーにとっての主要な課題だ」と彼は述べました。

ベンダーが責任（liability）を受け入れることに慎重なのは、まさに誤った出力が、誰にも気づかれないまま連鎖してしまうリスクがあったからだと、デジタル、データ、商事法務のリンクレイターズ（Linklaters）パートナーであるジョージナ・コンは言いました。

「拡大（増幅）リスクは非常に大きいのに加え、誰が責任を負うべきなのかを突き止めるのが難しい、という問題もあります」とコンは述べました。「現行の法律の多くは、うまく当てはまらないことがあります。というのも、常に人間や企業が何かをしていることを前提としているからで、それは事実ではありません。しかし、人々がエージェントを作っているのに、そのエージェントについて責任を負わない、という世界も作れません。最終的に問題は、市場が商業的にどこまで耐えられるか、ということに帰着します。」

このため、ベンダーは製品をソフトローンチして、まずはユーザーと一緒に試していました。

世紀の初めにおけるソーシャルメディアと同様に、人々がAIエージェントをどのように導入し、どう反応するかは、まだ展開されていない、とコンは言いました。

「AIのようなものがあるとき、それはただの丘の次の頂点であって、先に何が待ち受けているのか分かりません。というのも、これらのエージェントは予期しない動きをするかもしれませんし、間違ったことを学習してしまう可能性もあるからです。だからこそ、ベンダーがすべてについて責任を負わないのも不思議ではありません。彼らが責任を取れるのは、実際に彼らがたどったプロセスと、実装したセーフガードです。収益性の観点では、彼らがそれらの典型的な契約上の責任を負うかもしれないエージェントを開発することが魅力的でなくなる時点が来るでしょう。」

しかし一部のユーザーは、自らがそのリスクを引き受けることで、市場の最先端を走り続けたり、処理の効率化を得たりするために、エージェントを先行して導入することを歓迎していました。業界によって事情が異なるだろうとコン氏は述べており、たとえば金融サービスやヘルスケアは、より慎重な姿勢になるということです。

AI投資は今年2.52兆ドルに達する見込みで、その大半はハイパースケーラー、モデル構築者、そしてソフトウェア企業からの資金によって賄われます。彼らは、投資額に見合う良好なリターンを確認したいはずです。

ITのシニアマネージャー、あるいはディレクターなら、ベンダーが、前例のない速さと規模で社内の意思決定を自動化できると約束してきた、大胆なマーケティング主張については誰もが証言できるでしょう。しかし、出力に対して誰が責任を負うのかを法的に問えるようにすることは、法律がより明確になるまで、そして訴訟が裁判所で扱われた経緯が出てくるまで、依然として難しいままです。

主要なアプリケーションベンダーには、顧客のAIエージェント導入において、どれだけの責任を受け入れるのかを説明する機会が与えられました。MicrosoftとSAPはコメントを拒否しました。Workday、Salesforce、ServiceNow、Oracleは回答していません。業界の熱狂があるにもかかわらず、市場で語られる主張と法的責任を一致させて、彼らがその“つじつま”を合わせるのは難しい、というのが実情です。 ®

関連記事

• AI
• エンタープライズ
• ソフトウェア

これに近い話題