長期ニューロ-シンボリック記憶によるマルチモーダルエージェント推論の高度化

要旨: 大規模言語モデルの最近の進歩は、オープンワールドでマルチモーダルな環境で動作するインテリジェントエージェントの出現を促しています。長期的な推論を支えるために、この種のエージェントは通常、外部メモリシステムを備えています。しかし、既存の多模態エージェントのメモリの多くは主にニューラル表現とベクトルベースの検索に依存しており、帰納的で直感的な推論には適していますが、現実世界の意思決定に不可欠な分析的・演繹的推論をサポートする点で根本的に制限されています。この制限に対処するために、NS-Mem は、ニューラルメモリを明示的な記号構造と規則と統合することで、マルチモーダルエージェントの推論を前進させる長期的なニューラル・シンボリック記憶フレームワーク NS-Mem を提案します。具体的には、NS-Mem はメモリシステムの三つのコアコンポーネントを中心に運用されます: (1) エピソード層、セマンティック層、論理規則層から成る三層メモリアーキテクチャ、(2) SK-Gen によって実装されたメモリ構築・保守メカニズムが、蓄積されたマルチモーダル体験から構造化された知識を自動的に統合し、ニューラル表現と記号規則の両方を段階的に更新します、(3) 類似性ベースの検索と決定論的な記号クエリ機能を組み合わせて構造化推論を支援するハイブリッドメモリ検索機構。実世界のマルチモーダル推論ベンチマークでの実験は、ニューラル・シンボリック・メモリが純粋なニューラルメモリシステムに対して平均4.35%の全体的な推論精度の改善を達成し、制約された推論クエリでは最大12.5%の改善をもたらすことを示し、NS-Mem の有効性を裏付けています。