STaR-DRO: グループに頑健な構造化予測のための状態保持ツァリス再重み付け

概要: 構造化予測では、曖昧性、ラベルの偏り、異種グループの難しさのもとで、モデルがオントロジーに制約されたラベルを生成し、根拠となる証拠を提示し、かつ妥当な構造を生成する必要があります。本研究では、制御可能な推論と頑健な微調整のための2部構成の枠組みを提示します。まず、タスクに依存しないプロンプト戦略として、XMLベースの指示構造、曖昧性解消のためのルール、検証スタイルの推論、スキーマ制約、自己検証を組み合わせることで、フォーマットのドリフト、ラベルの曖昧さ、証拠の幻覚、そしてインコンテキストの構造化生成におけるメタデータ条件付けによる混乱に対処します。次に、グループの異質性に対する状態を持つ頑健な最適化手法であるSTaR-DROを導入します。これは、Tsallisのミラー降下法に、モメンタムで平滑化し中心化したグループ損失シグナルと、超過分のみを上限付きで扱う乗数を組み合わせることで、中立的なベースラインを継続的に上回る「難しい」グループのみを重み付けし、それ以外は上げません。これにより、不安定で密な指数勾配による再重み付けや、より簡単なグループを下げることによる不要な損失を避けながら、最も必要な箇所に学習を集中できます。結合した枠組みを、患者—医療提供者間のセキュアメッセージから階層ラベルと証拠スパンを抽出するベンチマークであるEPPC Minerで評価します。プロンプトエンジニアリングにより、4つのLlamaモデルにわたってCode、Sub-code、Spanの平均F1がゼロショットで+15.44向上します。教師あり微調整に続いて、STaR-DROは最も難しい意味的判断をさらに改善します。Llama-3.3-70B-Instructでは、CodeのF1が79.24から81.47へ、Sub-codeのF1が67.78から69.30へ上昇しつつ、Spanの性能を維持し、最も困難な臨床カテゴリにおけるグループ単位の検証クロスエントロピーを最大29.6%低減します。これらのまれで難しいグループは臨床的に重要なコミュニケーション行動に対応するため、これらの向上は単なる統計的な改善ではありません。患者中心のケア分析におけるコミュニケーション・マイニングの信頼性を、直接的に強化します。