Affordance Agent Harness：検証ゲート付きスキルオーケストレーション

概要: アフォーダンスの基底付け（grounding）には、開放環境のシーンにおいて、エージェントがどこでどのように相互作用すべきかを特定することが必要です。しかし、実行可能な領域はしばしば小さく、隠れており、反射性があり、視覚的に曖昧です。そのため最近のシステムは（例：検出、セグメンテーション、相互作用のイマジネーション）など複数のスキルを組み合わせますが、多くは固定されたパイプラインでそれらを統括しており、個々のインスタンスに応じた難易度への適合が不十分です。加えて、途中の誤りからの限定的な回復しか提供せず、再出現する対象物からの経験を再利用できません。これらの失敗は、システムの問題を明らかにします。すなわち、テスト時の基底付けでは、適切な根拠（エビデンス）を獲得し、その根拠がコミットするのに十分に信頼できるかを判断し、さらにラベルへのアクセスなしで、推論コストに上限がある条件下でそれを行う必要があります。私たちは、エビデンスストアとコスト制御を備えた、異種スキルを統合するクローズドループ実行基盤「Affordance Agent Harness」を提案します。これにより、反復されるカテゴリに対する事前情報を与えるためのエピソード記憶を取得し、Routerを用いてスキルを適応的に選択し、パラメータ化します。その後、アフォーダンス固有のVerifierが、自身の整合性（self-consistency）、スケールをまたいだ安定性（cross-scale stability）、およびエビデンスの十分性（evidence sufficiency）に基づいてコミットをゲートし、最終的な判定者が、蓄積されたエビデンスと軌跡（trajectory）を融合して予測を行う前に、ターゲットを絞ったリトライを起動します。複数のアフォーダンスベンチマークおよび難易度を制御したサブセットでの実験では、固定パイプラインのベースラインよりも、精度とコストのパレートフロンティアがより強いことが示されました。これにより、平均的なスキル呼び出し回数とレイテンシを削減しつつ、基底付けの品質が向上します。プロジェクトページ: https://tenplusgood.github.io/a-harness-page/。