マスク強化型自己回帰予測: 少ない注意でより多くを学ぶ

要約:
大規模言語モデル（LLM）は、重要な情報を正確に取り出す能力に課題があることが判明しています。これに対処するため、Mask-Enhanced Autoregressive Prediction (MEAP) を提案します。これは、Masked Language Modeling (MLM) を Next-Token Prediction (NTP) にシームレスに組み込む、単純でありながら効果的な学習パラダイムであり、後者の文脈内検索能力を高めます。
具体的には、MEAP は入力トークンのごく一部をランダムにマスキングし、その後、デコーダーのみの Transformer を用いた標準的な次のトークン予測を直接実行します。
MEAP は MLM に対して双方向注意機構やエンコーダ-デコーダ構造の必要性を排除し、事前学習や推論時の追加計算オーバーヘッドを生じさせません。
集中的な実験により、MEAP は主要な情報検索および長い文脈推論タスクで NTP を大幅に上回り、常識推論タスクでは同等かそれ以上の性能を示すことがわかります。
MEAP の利点は監督付きファインチューニングにも及び、途中で情報が欠落するシナリオで顕著な利点を示し、NTP を 11.77 ポイント上回ります。
分析によれば、MEAP の有効性は、マスクされていないトークンの限定された集合に集中することによって、より識別しやすいアテンションスコアを促進する能力に起因します。この機構は、周辺の文脈の影響を緩和しつつ、タスク関連シグナルへのモデルの焦点を高めます。
これらの知見は、MEAP を大規模言語モデルの有望な学習パラダイムとして位置づけます。