推論集約型回帰（Reasoning-Intensive Regression）

抽象: AI研究者および実務者は、大規模言語モデル（LLM）を、我々が推論集約的回帰（RiR）と呼ぶもの、すなわちテキストから微妙な数値スコアを推定（推論）することに、ますます適用するようになっている。感情分析や類似度分析といった標準的な言語回帰タスクとは異なり、RiRはしばしば、ルーブリックに基づくスコアリング、複雑な環境における高密度報酬のモデリング、ドメイン固有の検索といった、場当たり的（ad-hoc）なアプリケーションとして現れる。その場合、タスク固有の学習データや計算資源が限られている一方で、文脈のより深い分析が必要となることが多い。初期ベンチマークを確立するために、我々は4つの現実的な問題をRiRタスクとして定式化し、それを用いて、固定したLLMへのプロンプトと、勾配降下によってトランスフォーマーエンコーダを微調整する双方がRiRではしばしば苦戦する、という仮説を検証する。次に、バッチに基づく熟考型プロンプト最適化とニューラルアンサンブル学習を組み合わせた、単純で軽量な手法であるMENTATを提案する。MENTATは両方のベースラインに対して最大65%の改善を達成するが、今後の発展の余地はなお大きい。