グローバルなAIセーフティ施策の自動分析：タクソノミ駆動型LLMアプローチ
arXiv cs.AI / 2026/4/7
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文では、2つのAIセーフティ政策文書を比較するための自動的な「クロスウォーク（crosswalk）」フレームワークを提案し、活動（アクティビティ）を抽出して共通のタクソノミ（AIセーフティのアクティビティ・マップ）へ対応づける。
- 各タクソノミの観点について、システムは短い要約、簡潔な比較、類似度スコアを生成し、モデル実行ごとの平均類似度を示すヒートマップ可視化も行う。
- 10件の公開されたAIセーフティ文書に対し5つの大規模言語モデルを用いた実験では、モデルの選択がクロスウォーク結果に強く影響し、文書間の比較でモデル間に大きな不一致が生じうることが示される。
- 3名の専門家による人手評価では、2つの文書ペアについてアノテータ間の一致度が高いことが確認される一方で、LLMから得られた類似度スコアは依然として人間の判断と完全には一致しない。
- 総じて本研究は、政策文書をLLMベースで比較検査するための活用を支持すると同時に、モデル依存の変動を考慮し、人間による評価との検証の必要性を強調している。
