ART：LLMの事実性を改善するためのAttention Replacement Technique

Abstract

大規模言語モデル（LLM）における幻覚（ハルシネーション）は、特に質問応答のようなタスクで、モデルがもっともらしいが誤っている、あるいは無関係な情報を生成してしまうことが多く、依然として重大な問題です。幻覚を軽減するためにさまざまな手法が提案されてきましたが、注意（アテンション）パターンと幻覚の関係は十分に調べられていません。本論文では、LLMの各レイヤーおよび各注意ヘッドにおける注意スコアの分布を分析し、興味深く共通した現象を明らかにします。それは、LLMの浅い層では主に一様な注意パターンに依存しており、モデルが系列全体に対して注意を均等に分配する、というものです。この一様な注意パターンは、モデルが最も関連性の高い情報に焦点を当てられないため、幻覚につながり得ます。この問題を緩和するために、微調整や追加学習データを必要としない、トレーニング不要の手法であるAttention Replacement Technique（ART）を提案します。ARTは、浅い層におけるこれらの一様な注意パターンをローカルな注意パターンで置き換えます。この変更により、モデルはより関連のある文脈に注意を向けるようになり、幻覚が減少します。広範な実験を通じて、ARTは複数のLLMアーキテクチャにおいて幻覚が有意に減少することを示し、微調整や追加の学習データを必要とせずに有効性と汎用性を証明します。