BLooP: Bigram Lookahead Promotionを用いた大規模言語モデルによるゼロショット抽象的要約
arXiv cs.CL / 2026/3/13
💬 オピニオンTools & Practical UsageModels & Research
要点
- BLooP は、ソースのビグラムの生成を促進して抽象要約の忠実度を高める、トレーニング不要のデコーディング介入である。
- デコードの各ステップでハッシュテーブルのルックアップを用い、ファインチューニングやモデルの修正なしにビグラムの先読みを奨励する。
- CNN/DM、CCSum、Multi-News、SciTLDR で、モデル（例: Llama-3.1-8B-Instruct、Mistral-Nemo-Instruct-2407、Gemma-2-9b-it）に対し ROUGE と BARTScore の改善を示し、人間の評価では可読性を損なうことなく信頼性が高まると指摘されている。
- 著者は、容易な導入と再現のためにコードをGitHubで公開している。
要旨: 抽象的要約には、元の文書の情報を伝える要約を生成するモデルが必要です。大規模言語モデルはファインチューニングなしで要約を生成できますが、重要な詳細を見落としたり、過剰な情報を含めたりすることがあります。私たちはBLooP（Bigram Lookahead Promotion）を提案します。BLooP は訓練を必要としないデコーディング介入で、LLMs が元の文書から形成されるビグラムを生成するトークンを生成するよう促します。BLooP はデコードの各ステップでハッシュテーブルのルックアップを介して動作し、訓練、ファインチューニング、またはモデル修正は必要ありません。CNN/DM、CCSum、Multi-News、SciTLDR に対して、Llama-3.1-8B-Instruct、Mistral-Nemo-Instruct-2407、Gemma-2-9b-it の各モデルで ROUGE および BARTScore の改善を示します。人間の評価は、BLooP が可読性を損なうことなく忠実度を大幅に向上させることを示しています。コードは https://github.com/varuniyer/BLooP で公開しています。
