Semantic Voting：検証不可能なオープンエンド課題に対する効率的なLLM自己改善のための自己評価不要のアプローチ

要旨: 教師ありデータを取得するコストの上昇が、大規模言語モデル（LLM）に対する自己改善への関心を大きく引き起こしている。多数決などの素朴な教師なしの信号は、検証可能な課題に対して、検証可能な形で疑似ラベルを生成するのに有効であることが示されてきた。一方で、（翻訳のような）検証不可能な課題への適用は、応答がオープンエンドであることによって制限される。その結果、疑似ラベルを導出するために主として自己評価メカニズム（例えば自己判断やエントロピー最小化）が用いられる。しかし、LLMに依拠した自己評価は、典型的に高い計算オーバーヘッドを伴い、さらに内在するバイアスによって過信の問題も生じる。これらの課題に対処するために、本稿では検証不可能な課題向けの、新規な自己評価不要アプローチを提案する。このアプローチは、軽量でありながら効果的な自己改善のために設計されている。検証可能な課題で一般的に用いられる多数決に着想を得て、我々はハードマッチング（すなわち厳密一致）の原則を、ソフトマッチング（すなわち意味的類似性）へと緩和する新しいメカニズムとして「セマンティック投票」を提案する。ソフトマッチングは、軽量な文埋め込みモデルを活用して意味的類似性を定量化することで実現し、それにより、自己評価に伴う過度な計算負担および内在するバイアスに起因する制約を緩和する。包括的な実験により、本手法が計算効率において大きな向上を達成し、さらに多様なモデルのアーキテクチャおよび課題にわたって、自己評価手法よりも総合的に優れた性能を示すことが確認された。