スカラー多様性のための連続的解釈的ステアリング

要旨: 実用的推論は本質的に段階づけられている。異なる語彙項目は、異なる程度の実用的エンリッチメントを引き起こす。スカラー含意は、含意の強さがスカラー項目間で変化するという「スカラー多様性」によって、この性質を例示する。しかし、大規模言語モデル（LLM）における実用的推論の評価は、多くの場合、プロンプトに基づく操作に依存している。プロンプトレベルの効果を超えて、本研究は、連続的解釈スティアリング（Continuous Interpretive Steering; CIS）を導入し、活性レベルのスティアリング強度を連続的な実験変数として扱うことで、段階づけられた実用的解釈を検討する方法を提示する。解析を支えるため、本研究は新しいデータセットであるGraSDを導入する。GraSDは段階づけられたスカラー多様性を符号化する。4つのLLMに対する実験の結果、一様な活性スティアリングは実用的解釈を全体的に増大させるが、項目レベルの変動を崩してしまうのに対し、段階づけられた活性スティアリングは、スカラー多様性の段階に整合する、識別可能な解釈上のシフトをもたらすことが示された。これは、段階づけられた感度が表現空間に符号化されており、制御された介入によって体系的に回復できることを示唆している。CISとGraSDは合わせて、LLMにおける段階づけられた実用的感度を評価するための、原理に基づいた枠組みを提供する。