TABQAWORLD：マルチターン表質問応答のためのマルチモーダル推論の最適化

要旨: マルチモーダル推論は、推論モデルの推論能力を強化するための強力な枠組みとして登場してきた。マルチターンの表推論手法は、ツール利用や報酬モデリングによって推論精度を向上させているが、表状態の読み出しには固定されたテキストのシリアライズに依存している。これにより、表のエンコーディングにおける表現誤差が生じ、それが複数ターンにわたって大きく累積する。この累積は、推論計算量やコストを犠牲にして表形式のグラウンディング手法で軽減できるが、現実世界での導入は実用的ではない。そこで本研究では、表の行動を表現と推定の両面から共同最適化する表推論フレームワーク TABQAWORLD を導入する。表現に関して、TABQAWORLD は行動条件付きマルチモーダル選択ポリシーを用い、視覚表現とテキスト表現を動的に切り替えて、表状態の読み出し信頼性を最大化する。推定に関して、TABQAWORLD は、次元、データ型、主要な値を含む表メタデータに基づいて段階的な推論軌跡を最適化し、安全に軌跡を計画するとともに、低複雑度の行動を圧縮することで、会話ターン数とレイテンシを削減する。学習不要のフレームワークとして設計された TABQAWORLD の実験評価では、ベースラインに対して精度が 4.87% 改善されるなど、最先端の性能を達成している。さらに静的な設定と比べて、精度が 5.42% 向上し、推論レイテンシが 33.35% 削減されることを示し、信頼性と効率性に優れた表推論の新たな基準を確立する。