言語の曖昧性下における品質推定のためのシグモイドヘッド
arXiv cs.CL / 2026/3/30
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、標準的な言語モデルの確率（softmaxヘッドの出力）は品質推定に対して信頼性が低いと主張する。曖昧な言語では複数の正当な出力が成り立ち得る一方、softmaxは確率質量を単一の最良オプションに押し込めてしまうためである。
- その根本的な原因として2点を挙げる。第一に、softmaxは複数の正解候補に同時に高い確率を割り当てられないこと。第二に、学習ターゲットがワンホット参照であるため、実質的に「正しいトークンは1つだけ」と暗黙に仮定してしまうこと。
- 著者らは、追加のアンベディング（unembedding）ヘッドである「trainableなSigmoid Head（学習可能なシグモイドヘッド）」を導入する。これはシグモイド活性化を用いて、曖昧性の下でより良い品質のシグナルを生成しつつ、計算効率も維持することを目的としている。
- 学習ターゲットが単一参照に限られる問題に対処するため、Sigmoid Headの学習時には、もっともらしい代替の正解トークンを避けるネガティブサンプリングのヒューリスティックを用いる。
- 本論文では、Sigmoid Headは元のsoftmaxヘッドに比べて品質推定のシグナルを大幅に改善でき、さらに人手による品質データを必要としないため、ドメイン外設定においてもより頑健であると主張している。
