大規模言語モデルにおける原理に基づくブースティング注意による指示追従

要旨: 大規模言語モデルの振る舞いは、システムプロンプト、拒否境界、プライバシー制約、推論時に成立しなければならないツール利用ルールといった指示によってしばしば形作られる。にもかかわらず実際には、長いコンテキストのもとや、ユーザーが提示したコンテキストがそれらと矛盾する場合に、これらの制約が破られることがある。その結果、信頼性と安全性のリスクが生じる。そこで、再学習を行わずに指示の影響を強める推論時介入が動機づけられる。そのような介入の1つがアテンション・スティアリングであり、指示トークンへ注意をバイアスする。本研究では、アテンション・スティアリング手法のための統一的な理論を提示する。すなわち、指示追従を、指示ルールとコンテキスト由来ルールの間のルールベースの競合として定式化し、どのルールが優勢になるかをアテンションが媒介する、という枠組みである。指示トークンへの注意を高めると、この競合が傾き、コンテキストが指示追従を上書きすることが難しくなることを証明する。しかし、注意の過剰な強化は、指示とともに取り込まれるべき、タスクに関連するコンテキストを抑制し得る。本理論に導かれ、Instruction Attention Boosting（InstABoost）という単純な介入を提案する。これは、全層および全ヘッドにわたり、指示キーの注意ログitに対して一定の加法バイアスを適用する。15のタスクにわたって、InstABoostをプロンプティング、潜在スティアリング、ならびに従来のアテンション・スティアリング手法と比較評価する。InstABoostは、潜在手法の流暢性崩壊を回避し、従来のアテンション手法の指示過集中を抑えつつ、すべてのベースラインに匹敵、またはそれを上回る。より強いスティアリングの品質とトレードオフを実現する。