Omanic: 大規模言語モデルにおける多段階推論の段階的評価に向けて

要旨：推論に焦点を当てた大規模言語モデル（LLMs）は多くのNLPタスクで進歩していますが、その評価は依然として難しいです。最終回答だけでは中間の推論過程を露呈せず、モデルが本当に正しく推論しているか、どこで失敗が発生しているかを判断するのが難しくなります。一方、既存のマルチホップQAベンチマークには推論の失敗を診断するための手順レベルの注釈が欠如しています。このギャップに対処するため、推論プロセスを分析するための構造的注釈として、分解されたサブ質問と中間回答を提供するオープンドメインのマルチホップQAリソース「Omanic」を提案します。それは10,296件の機械生成訓練例（OmanicSynth）と967件の専門家が精査した人間注釈付き評価例（OmanicBench）を含みます。体系的な評価は、最先端のLLMsがOmanicBenchで73.11%の多肢選択正解率しか達成しておらず、その難易度の高さを裏付けていることを示しています。ステップバイステップの分析は、CoTのパフォーマンスが事実の完全性にかかっており、知識のギャップの下でその利得が薄れ、後半の跳躍で誤りが拡大することを示しています。さらに、OmanicSynthに対する教師ありファインチューニングは、推論と数学の6つのベンチマークにおいて大きな転移効果（平均7.41ポイント）をもたらし、データセットの品質を検証するとともに、推論能力転移の監督としてのOmanicSynthの有効性をさらに支持しています。私たちはデータをhttps://huggingface.co/datasets/li-lab/Omanicで、コードをhttps://github.com/XiaojieGu/Omanicで公開します。」}/* End of translation */ бессервенный