小規模言語モデルにおけるエントロピーと注意ダイナミクス：TruthfulQAベンチマークに対するトレース・レベルの構造解析

要約: 小規模言語モデル（SLM）は、エッジデバイスやその他のリソース制約のある環境において、ますます広く導入されている。しかし、これらのモデルは確信に満ちた誤予測を行い、出力が不安定になるため、事実に関わるタスクや意思決定に関わるタスクに対してリスクが高い。現在の評価手法は、最終的な正確性やハルシネーション（幻覚）率に依存しており、モデル内部のふるまいが出力にどのように影響するかを説明できていない。具体的には、復号中にエントロピーがどのように推移するか、注意（アテンション）が各層にどのように分配されるか、隠れ表現が不確実性、論理的不整合、誤情報の伝播にどう寄与するかといった点は、見落とされがちである。その結果、本研究では、TruthfulQA データセットで評価した SLM におけるエントロピーと注意ダイナミクスのトレース（追跡）レベル分析を導入する。パラメータ範囲が 1B〜1.7B の 4 つのモデルを、トークンレベル出力エントロピー、注意エントロピー、ヘッド分散（dispersion）、および隠れ状態表現によって調べた。その結果、エントロピーのパターンに基づいて 3 つのモデル分類が反映された。決定論的モデル（DeepSeek-1.5B および LLaMA-1B）は、出力エントロピーが時間とともに低下する。探索的モデル（Gemma-1B）は、エントロピーが増加するにつれて変化し、バランス型モデル（Qwen-1.7B）は中程度で安定したエントロピーを示す。さらに、各グループには、隠れ状態の動き方や注意の分散のパターンにおいて明確に異なる特徴がある。分析は、SLM における真実性が、構造化されたエントロピーと注意ダイナミクスから生じることを示している。内部の不確実性パターンをモニタリングし最適化することで、より信頼性が高く、ハルシネーションを意識した、かつ用途に特化したエッジ SLM の設計に役立てることができる。