DWTSumm:文書要約のための離散ウェーブレット変換(DWT)

arXiv cs.LG / 2026/4/24

💬 オピニオンModels & Research

要点

  • この論文は、長い専門領域文書をLLMで要約する際の難しさに対し、離散ウェーブレット変換(DWT)を用いた多解像度フレームワークを提案しています。
  • テキスト埋め込みを意味的な信号として捉え、「近似(グローバル)」と「詳細(ローカル)」に分解することで、構造と領域固有の重要情報を保ちながらコンパクトな表現を得ます。
  • この手法は要約として直接利用できるほか、LLM生成を導くためにも使え、情報損失や幻覚の低減を狙います。
  • 臨床・法務のベンチマークでの実験ではROUGE-Lが競合的であり、GPT-4oとの比較では意味的類似性と根拠付けの改善(BERTScore、Semantic Fidelity、法務タスクでの事実整合性など)が示されています。
  • 複数の埋め込みモデルでFidelityが最大97%に達しており、DWTが意味のデノイズ機構として働き、事実に基づく根拠を強めることが示唆されます。

要旨: 大規模言語モデル(LLM)による、長くドメイン固有の文書の要約は、特に臨床および法務の領域では、文脈の制限、情報の損失、そしてハルシネーションのために依然として困難です。そこで本研究では、テキストを意味的な信号として扱い、それを大域的(近似)成分と局所的(詳細)成分に分解する、離散ウェーブレット変換(DWT)ベースのマルチレゾリューション枠組みを提案します。文や語のレベルの埋め込みに適用すると、DWTは、全体の構造と重要なドメイン固有の詳細を保持しつつ、コンパクトな表現を生成します。これらはそのまま要約として用いるか、LLM生成の指針として利用されます。臨床および法務のベンチマークに対する実験では、ROUGE-Lのスコアが同等であることが示されました。GPT-4oをベースラインと比較すると、DWTに基づく要約は意味的類似性とグラウンディングを一貫して改善し、BERTScoreで2%以上、Semantic Fidelityで4%以上、法務タスクにおける事実整合性、さらに保持されたドメイン固有の意味を示唆する大幅なMETEORの改善を達成しています。複数の埋め込みモデルにわたって、Fidelityは最大97%に達しており、DWTが意味的なノイズ除去メカニズムとして機能し、ハルシネーションを減らして事実に基づく根拠を強化していることを示唆します。総じて、DWTは、LLMによる信頼性の高い長文書およびドメイン固有の要約のための、軽量で汎用的な手法を提供します。