アラビア語医療テキスト生成のための重症度に応じた加重損失
arXiv cs.CL / 2026/4/9
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文では、アラビア語医療テキスト生成モデルをファインチューニングする際の重症度に応じた加重損失を提案し、標準的な目的関数が臨床上のリスクに関わらずすべてのケースを一様に扱ってしまう問題に対処する。
- ファインチューニングしたAraBERTベースの分類器から得られるソフトな重症度確率を用いて、トークン単位の損失寄与を動的にスケーリングし、モデルのアーキテクチャを変えることなく、より重症なケースに関わる相互作用を優先する。
- MAQAのアラビア語医療相談データセットを用いた実験では、10種類の異なるアラビア語LLMに対して、標準的なクロスエントロピーによるファインチューニングと比べて一貫した改善が確認された。
- 報告されている改善としては複数モデルで大きな向上があり（例：AraGPT2-Baseが54.04%から66.14%へ、AraGPT2-Mediumが59.16%から67.18%へ、Qwen2.5-0.5Bが57.83%から66.86%へ）、最大性能は約67.18%だった。
- 全体の結果から、この手法はファインチューニングなしのベースラインに対して最大12.10%の改善をもたらし、アーキテクチャに依存しない形で利益が得られることが示唆される。
