要旨: AIエージェントはますます長い時間的地平上で動作するようになっているが、多様なモダリティにまたがる体験を保持し、整理し、想起する能力は依然として重要なボトルネックである。効果的な生涯（ライフロング）メモリを構築するには、アーキテクチャ、検索戦略、プロンプトエンジニアリング、データパイプラインといった広大な設計空間を切り拓く必要がある。しかしこの空間は大きすぎ、かつ相互に連結しすぎているため、手作業による探索や従来のAutoMLでは十分に探索することができない。私たちは、自律的な研究パイプラインを導入し、ライフロングAIエージェントのための統一的な多様モダリティ・メモリ基盤であるOmniMemを発見する。素朴なベースライン（LoCoMoでF1=0.117）から出発して、このパイプラインは2つのベンチマークにまたがって自律的に{\sim}50件の実験を実行し、失敗モードを診断し、アーキテクチャの修正を提案し、データパイプラインのバグを修復する。これらは、内側ループにおいて人手を一切介さずに行われる。その結果得られたシステムは両方のベンチマークで先端（state-of-the-art）を達成し、初期設定と比較してLoCoMoでF1を+411%（0.117\to0.598）、Mem-Galleryで+214%（0.254\to0.797）改善する。重要なのは、最もインパクトの大きい発見はハイパーパラメータ調整ではない点である。バグ修正（+175%）、アーキテクチャ変更（+44%）、プロンプトエンジニアリング（特定カテゴリで+188%）のそれぞれが、すべてのハイパーパラメータチューニングによる累積寄与を単独で上回り、従来のAutoMLの到達範囲を根本的に超える能力を示している。私たちは6種類の発見（discovery）タイプの分類（タクソノミー）を提示し、多様モダリティ・メモリが自動研究に特に適している4つの特性を特定することで、他のAIシステム領域に対して自律的研究パイプラインを適用するための指針を与える。コードはこのリンクで公開されている: this https://github.com/aiming-lab/OmniMem.
OmniMem：自己研究（Autoresearch）に導かれる、長期的マルチモーダル・エージェント記憶の発見
arXiv cs.AI / 2026/4/2
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- arXivの論文は、AIエージェントが長い時間軸にわたってマルチモーダルな経験を保持・整理・想起できるようにする統一的なマルチモーダル「生涯記憶（lifelong memory）」フレームワーク、OmniMemを紹介している。
- 人手を内ループから排し、約50の実験を2つのベンチマークに対して実行する自律型の自己研究（autoresearch）パイプラインを用いる。失敗を診断し、アーキテクチャ変更を提案し、さらにデータ・パイプラインの不具合まで修正する。
- OmniMemは新たな最先端（state-of-the-art）の結果を達成しており、初期ベースラインと比べてLoCoMoでF1が0.117から0.598へ（+411%）、Mem-Galleryで0.254から0.797へ（+214%）と大きく向上した。
- 本研究では、主要な改善はハイパーパラメータ調整よりも、バグ修正（+175%）、アーキテクチャ変更（+44%）、および特定カテゴリに対する狙いを定めたプロンプト工学（+188%）によってもたらされており、それぞれがハイパーパラメータ調整の総効果を上回ることを明らかにしている。
- 著者らは6種類の発見（discovery）タイプの分類法（タクソノミー）を提示し、マルチモーダル記憶が自己研究に特に適している4つの特性を特定するとともに、同様のパイプラインを他のAI領域に適用するための指針も示している。
