MEMAUDIT：予算付きの長期LLMメモリ書き込みを対象にした、厳密なパッケージ・オラクル評価プロトコル

要旨: 長期的なLLMエージェントは、将来のクエリがまだ分からない段階で、過去の相互作用のストリームを永続メモリに圧縮する必要があります。既存の評価では通常、最終的な質問応答の精度を測定しますが、これはメモリへの書き込みと、検索、そして読み手の推論が絡み合うため、切り分けが難しくなっています。私たちは、予算付きの長期メモリ書き込みに対する正確なパッケージoracle評価プロトコルとしてMEMAUDITを導入します。MEMAUDITパッケージは、経験ストリーム、候補となるメモリ表現、保存コスト、意味的エビデンス単位、将来クエリ要件、そして予算を固定し、書き込み時のメモリ選択を、有限で監査可能な最適化問題へと変換します。さらに、分母が証明された（certified denominator）形で定めます。私たちはこのプロトコルを、保存と「1つの経験あたり1表現」という制約の下での、凹型のモジュール的（concave-over-modular）セマンティックカバレッジ目的で具体化し、分枝限定法（branch-and-bound）にMILPによる証明（certification）を組み合わせて、パッケージの正確な最適値を計算します。制御された正確なパッケージ群、妥当性重視のストレステスト、人手で監査した自然なサポートのスライス、そしてエクスポートされたMem0、A-Mem、Lettaストアにわたって、MEMAUDITは、表現の質、妥当性状態の保持、そして予算を考慮した選択の影響を、エンドツーエンドQAでは局在化できない形で分離します。その結果得られる成果物は、再利用可能なパッケージジェネレータ、証明付きソルバ、自然なパッケージエクスポート、外部システムのスコアラー、さらに固定された保存予算のもとでメモリライタが実際に何を保持するのかを評価するための、キャッシュされた再現可能性（reproducibility）メタデータを提供します。