ユーザーのフィードバック付き対話型・エピソード記憶

概要: 自然言語クエリによるエピソード記憶（EM-NLQ）では、ユーザーは質問（例：「マグをどこに置いた？」）を投げることがあり、ユーザー視点で撮影された長いエゴセントリック動画を検索して、その質問に答える瞬間を見つける必要があります。しかし、クエリは曖昧または不完全であり、誤った応答につながることがあります。現在の手法はこの重要な側面を無視し、EM-NLQをワンショット設定として扱っているため、現実のシナリオでの適用可能性が制限されています。本研究ではこのギャップに取り組み、エピソード記憶と質問・フィードバック課題（EM-QnF）を提案します。ここでは、ユーザーはモデルの初期予測に対してフィードバックを提供するか、追加情報（例：「これより前です。白い方じゃなくて、大きい青いマグを探しています」）を加えることで、モデルが相互的に予測を改善できるようにします。そこで本研究では、フィードバックに基づくインタラクション用のデータセットを収集し、高価な逐次最適化を回避する軽量な学習手法を提案します。さらに、既存のEM-NLQモデルがユーザーフィードバックを効果的に取り入れられるようにする、プラグアンドプレイ型のフィードバック・アラインメント・モジュール（FALM）も導入します。本手法は、3つの困難なベンチマークにおいて、最先端手法を大幅に上回り、効率性を維持したまま、商用の大規模ビジョン・言語モデルよりも良好、または同等の性能を示します。人手によるフィードバックを用いた評価により、本手法が現実世界のシナリオに対してよく一般化することが示されます。