要旨: 本稿では、ヒトのデモンストレーションからロボットの操作を学習するために必要な、高品質な構造化教師信号に対する要求に動機づけられ、エゴセントリックな手続き型動画に対して注釈を付与するためのミックスド・イニシアチブ（mixed-initiative）フレームワークであるIMPACT-HOIを提案する。IMPACT-HOIは、このタスクを、部分的に指定された、開始（オンセット）に紐づけられたイベント状態を段階的に解消する問題として定式化する。信頼度の校正されたコントローラは、実データに基づく注釈者の振る舞いと証拠の質に応じて、直接の問いかけ、人が確認した提案、そして保守的な完了（completions）の中から選択する。原子的なロールバック（atomic rollback）を用いる、リスク上限付きの実行プロトコルによって、人が確認した決定が、競合する自動更新に対して保持されることを保証する。9人の参加者によるユーザスタディでは、手作業の注釈アクションが13.5%減少し、イベントの一致率は46.67%となり、検討したプロトコルのもとで確証済みフィールドの違反はゼロであった。コードは https://github.com/541741106/IMPACT_HOI で公開する予定である。
IMPACT-HOI：開始時点アンカー付き部分HOIイベント構築のための監督型制御
arXiv cs.CV / 2026/5/5
📰 ニュースDeveloper Stack & InfrastructureSignals & Early TrendsModels & Research
要点
- IMPACT-HOIは、一人称の手順動画からヒトとモノの相互作用（HOI）のための構造化イベントグラフを構築する、ミックスインタラクティブなアノテーション手法を提案します。
- このタスクを「開始時点（オンセット）にアンカーされた、部分的に未指定のイベント状態」を段階的に解決していく問題として定式化し、人のデモから学習するロボット操作に向けた質の高い構造化教師データを得ることを狙います。
- 信頼度を調整したコントローラが、アノテータの行動や根拠（エビデンス）の質に基づいて、直接の質問、アノテータが確認した提案、慎重な補完のどれを選ぶかを決定します。
- 人が確認した判断を、自動更新と矛盾する場合でも保護するために、アトミックなロールバックを用いたリスク境界付きの実行プロトコルを備えています。
- 参加者9人のユーザースタディでは、手作業のアノテーション操作が13.5%減少し、イベント一致率が46.67%向上、検証したプロトコル下で「確認済みフィールドの違反」が0件だったと報告されており、コードは公開予定です。
