LLMベースのポリシー遵守推論のための知識グラフ表現

arXiv cs.AI / 2026/5/1

📰 ニュースDeveloper Stack & InfrastructureIdeas & Deep AnalysisModels & Research

要点

  • この論文は、AIポリシー文書から知識グラフ(KG)を構築し、関連情報を取得して質問に答えるためのエージェント型フレームワークを提案しています。
  • 3つのAIリスク関連ポリシー文書を2つのオントロジー・スキーマで基にKGを作成し、5つのLLMで性能を評価します。
  • 評価では、6種類の推論タイプにまたがる42件のポリシーQAタスク(エンティティ検索からポリシー横断推論まで)を扱います。
  • 結果として、KGの補強(augmentation)により5つのLLMすべてでスコアが向上し、ヒューリスティック指標と「LLM-as-judge」の両方で測定されています。
  • さらに、LLMによる発見(LLM-discovered)で作られたオープンなスキーマが、形式的なオントロジーを同等以上の性能で上回り得ることを示しています。

要旨: AI機能がソフトウェアアプリケーションに急速に統合されるにつれて、それがもたらすリスクは増大しています。これに対応するため、安全でセキュアなAIのための規制や標準が提案されています。本論文では、AIポリシー文書から知識グラフ(KG)を構築し、質問に答えるためのポリシー関連情報を取得する、エージェンティックな枠組みを提示します。2つのオントロジー・スキーマのもとで、AIリスクに関連する3つのポリシーからKGを構築し、その後、事例の特定からポリシー間推論までの6種類の推論タイプにまたがる42のポリシーQAタスクに対して5つのLLMを評価します。評価は、ヒューリスティックなスコアリングと、LLM-as-judgeの両方を用いて行います。KGの拡張は、5つのモデルすべてのスコアを向上させ、オープンでLLMによって発見されたスキーマは、形式的なオントロジーと同等、あるいはそれを上回ります。