要旨：大型言語モデル（LLMs）は、さまざまなタスクで有望な有効性を示し、人間の生活の多くの側面で強力なツールとなっています。しかし、トランスフォーマーに基づく LLM は、長期的な文脈をモデル化する際に、計算オーバーヘッドを削減するために情報の一部を破棄することから性能が低下します。本研究では、LLMs が一息つくことを可能にし、離散的なテキストチャンク内の情報を要約するよう促す、単純でありながら効果的な方法を提案します。具体的には、テキストを複数のチャンクに分割し、各チャンクの末尾に特殊トークン を挿入します。次に、アテンションマスクを修正して、チャンクの情報を対応する トークンに統合します。これにより、LLMs は過去の個々のトークンだけでなく トークンからも情報を解釈し、チャンクの意味情報を集約します。言語モデリングおよび分野外の下流タスクでの実験は、提案アプローチの優位性を検証します。
返却形式: {"translated": "翻訳されたHTML"}
