大規模言語モデルと書籍要約: 読むことと覚えること、どちらが良いのか？

要旨: 要約は自然言語処理（NLP）における核となるタスクです。最近の大規模言語モデル（LLMs）の進歩と、数百万トークンに達する大規模な文脈ウィンドウの導入により、書籍全体を1つのプロンプトで処理することが可能になっています。同時に、よく知られた書籍については、訓練中に獲得した内部知識のみに基づいて要約を生成できるようになっています。これにはいくつか重要な疑問が生じます。内部記憶から生成された要約は、全文から派生した要約とどのように比較されるのか。書籍を入力として与えた場合でも、事前知識は要約に影響を与えるのか。本研究では、最先端のLLMを用いて書籍要約の実験的評価を行います。よく知られた書籍の要約を、(i) モデルの内部知識のみで作成したものと、(ii) 書籍の全文を用いて作成したものを比較します。結果は、全文を持つ方が一般的により詳細な要約を提供することを示していますが、いくつかの書籍では内部知識要約の方が高いスコアを示すものもあります。これは、訓練中に学習した情報が長文の要約能力よりも優れている場合があるため、長文要約の能力について疑問を提起します。