要旨: AIの安全性は、AIシステムの能力と導入が拡大するにつれて、ますます差し迫った懸念となっている。AIガバナンスに関する既存の進化的モデルは、主として安全な開発と効果的な規制のためのインセンティブを検討してきたが、典型的には、ユーザーの信頼を、反復的な相互作用によって形作られる動的で進化する過程というよりも、一回限りの導入選択として表現している。そこで我々は、ユーザーとAI開発者との間の反復的で非対称な相互作用において、AIの挙動の監視がコストを伴うために信頼が低下するものとして、信頼をモデル化する。進化ゲーム理論を用いて、監視コストの水準と制度的レジームの違いのもとで、ユーザーの信頼戦略と、AIを安全(準拠)とするか危険(非準拠)とするかの開発者の選択が、どのように共進化するかを研究する。我々は、無限母集団のレプリケータ解析に加えて、確率的な有限母集団のダイナミクスと強化学習(Q学習)シミュレーションを補完的に用いる。これらのアプローチを通じて、頑健な長期的レジームが3つあることを見出す。すなわち、危険な開発を伴う導入なし、危険だが広く導入されるシステム、そして安全であり広く導入されるシステムである。望ましいのは最後のケースのみであり、それは、安全な挙動に対する追加コストを上回る程度に危険な挙動への罰則が大きく、かつユーザーが少なくとも時折は監視する余裕を持てる場合に生じる。我々の結果は、透明性、低コストな監視、そして実質的な制裁を重視するガバナンス提案を形式的に支持しており、規制だけでも、盲目的なユーザーの信頼だけでも、危険または導入率の低い結果へ向けた進化的なドリフトを防ぐには十分ではないことを示している。
監視としての信頼:ユーザーの信頼とAI開発者の行動に関する進化的ダイナミクス
arXiv cs.AI / 2026/3/27
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 結果は、透明性の重視、低コストの監視、そして実効性のある制裁を強調するガバナンス手法を支持しており、規制だけ、あるいは無条件のユーザー信頼だけでは、安全でない、または導入率の低い結果へとドリフトすることを確実に防げないと結論づけています。



