EgoSelf:メモリからパーソナライズされたエゴセントリックアシスタントへ

arXiv cs.CV / 2026/4/22

📰 ニュースDeveloper Stack & InfrastructureModels & Research

要点

  • 本論文は、第一人称の行動データを長期的に活用してパーソナライズを行う、エゴセントリック・アシスタントの枠組み「EgoSelf」を提案している。
  • 過去の出来事やエンティティ間の時間的・意味的な関係を捉えるグラフ型インタラクション・メモリを構築し、そこからユーザー固有のプロファイルを導出する。
  • パーソナライズ部分は予測タスクとして定式化され、グラフに記録された個人の履歴行動にもとづいてモデルが将来の相互作用を予測する。
  • 論文で報告された実験では、EgoSelfがパーソナライズされたエゴセントリック支援において関連するベースラインより有効であることが示されている。
  • 付随するWebサイトにコードが公開されており、研究者が再現や発展に取り組めるようになっている。

要旨: 自己中心的なアシスタントは、しばしばユーザの行動や文脈を把握し、パーソナライズされたサービスを提供するために、一人称視点のデータに依存します。異なるユーザは異なる習慣、嗜好、ルーティンを示すため、真に効果的な支援のためには、そのようなパーソナライズが不可欠です。しかし、パーソナライズのために長期のユーザデータを効果的に統合することは、依然として重要な課題です。そこで本研究では、過去の観測から構築されるグラフベースのインタラクションメモリと、パーソナライズ専用の学習タスクを含むシステムEgoSelfを提案します。このメモリは、インタラクションイベントとエンティティ間の時間的および意味的な関係を捉え、それに基づいてユーザ固有のプロファイルを導出します。パーソナライズされた学習タスクは、グラフに記録された各ユーザの過去の行動に基づいて、モデルが将来の起こり得るインタラクションを予測する予測問題として定式化されます。大規模な実験により、EgoSelfがパーソナライズされた自己中心的アシスタントとして有効であることが示されます。コードは以下で提供されています: \href{https://abie-e.github.io/egoself_project/}{https://abie-e.github.io/egoself\_project/}。