ProUIE：LLMベースのユニバーサル情報抽出のためのマクロからミクロへの漸進的学習手法

Abstract

LLMベースの汎用情報抽出（UIE）手法は、多くの場合、元の学習データ以外の追加情報に依存しており、学習の複雑さが増す一方で、得られる効果は限定的であることが多い。これに対処するため、外部情報を一切導入しないことでUIEを改善する、Macro-to-Microの漸進的学習アプローチであるProUIEを提案する。ProUIEは3つの段階からなる：(i) マクロレベルのComplete Modeling（CM）。完全な学習データ上で、固有の難易度の順序に従ってNER、RE、EEを学習し、統一された抽出の基盤を構築する。(ii) メゾレベルのStreamlined Alignment（SA）。簡略化された目標フォーマットを用いてサンプルデータ上で動作し、構造化出力をより簡潔で制御可能なものにするために、抽出結果の整流化（ストリームライン化）と正則化を行う。(iii) マイクロレベルのDeep Exploration（DE）。構造単位に対して段階的なきめ細かな報酬（SFR）を用いるステップワイズの報酬設計でGRPOを適用し、探索を導いて性能を向上させる。36の公開データセットに対する実験では、ProUIEが統一抽出を一貫して改善し、小さなバックボーンを使用しつつ、NERおよびREにおいて平均で強力な指示チューニング済みベースラインを上回ることが示され、さらに大規模な実運用志向の情報抽出において明確な利得も実証される。