ATANT：AI連続性のための評価フレームワーク

Abstract

私たちは、ATANT（Automated Test for Acceptance of Narrative Truth）を提案します。これは、AIシステムにおける連続性（continuity）を測定するためのオープンな評価フレームワークであり、時間をまたいで意味のある文脈を保持し、更新し、曖昧さを解消し、再構築する能力を対象とします。AI業界はメモリ構成要素（RAGパイプライン、ベクタデータベース、長いコンテキストウィンドウ、プロファイル層）を生み出してきましたが、これらの要素が真の連続性を生み出すかどうかを、正式に定義または測定する公開されたフレームワークは存在しません。私たちは、連続性を7つの必須特性を持つシステム特性として定義し、評価ループ内でLLMを用いない10のチェックポイントによる評価手法を導入し、6つの人生領域にまたがる250の物語からなるナラティブ・テストコーパスと、1,835の検証質問を提示します。参照実装を5つのテストスイート反復にわたって評価し、レガシーなアーキテクチャでは58%から、分離モード（250話）で100%、50話の累積モードで100%へと進め、250話の累積スケールでは96%を達成しました。累積結果が主要な指標です。すなわち、同一のデータベースに250の異なる人生ナラティブが共存する場合、システムは、文脈の混線（クロスコンタミネーション）なしに、正しい文脈に対して正しい事実を取得できなければなりません。ATANTはシステムに依存せず、モデルにも依存せず、連続性システムを構築し検証するための、順序づけられた手法として設計されています。フレームワークの仕様、例示ストーリー、および評価プロトコルは https://github.com/Kenotic-Labs/ATANT で利用可能です。完全な250話コーパスは段階的に公開されます。