低リソースの抽象的要約に向けた信頼性ゲーティング付きマルチティーチャー蒸留
arXiv cs.CL / 2026/4/6
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、低リソースの抽象的要約に対して信頼性を考慮したマルチティーチャー知識蒸留を提案し、EWAD（エントロピー重み付き合意ルーティング）とCPDP（容量に比例したダイバージェンス保存）を導入することで、ティーチャーとゴールドの教師データをより適切に組み合わせることを目指す。
- バングラ語データセットおよび複数のバングラT5/Qwen2.5設定での実験結果から、ロジットレベルのKDが最も一貫した改善を示す一方、より複雑な蒸留は短い要約では意味的類似性を向上させるが、長い出力では悪化させ得ることが分かった。
- 10言語にまたがるクロスリンガルな疑似ラベルKDでは、教師のROUGE-L性能の71〜122%を保持しつつ3.2×の圧縮を達成できることが報告されており、効率的な学生モデル学習が示唆される。
- 人手で検証されたマルチジャッジLLMによる評価では、単一ジャッジのパイプラインがキャリブレーションの偏りを生み得ることが示され、要約品質をより頑健に評価するための評価プロトコルの必要性が動機づけられる。
