ベースラインから嗜好へ：メンタルヘルス文テキスト分類におけるLoRA/QLoRAと嗜好最適化の比較研究

概要: メンタルヘルスのテキスト分類は、現代的な適応手法を急速に取り入れてきましたが、どの最適化戦略を、いつ、なぜ用いるのかといった実務的な指針は、いまだ限られています。本論文では、共同のメンタルヘルス分類タスクに対する最適化プロセスの体系的な比較研究を提示し、強いバニラ基準から、徐々により専門化された手法へと段階的に進めます。まず古典的な参照とエンコーダ参照を確立し、その後、複数の目的関数と最適化設定のもとで、LoRA/QLoRAによるパラメータ効率の高い教師あり微調整を検討します。さらに、クラス再バランスを含む形で、DPO、ORPO、KTOによる嗜好（プファレンス）ベースの最適化を評価します。単一のヘッドラインとなるスコアを強調するのではなく、方法論的な洞察に焦点を当てます。すなわち、目的関数の定式化、アダプタ選択、オプティマイザの挙動、コンテキストウィンドウイング、そしてクラスバランス介入によって、性能がどのように変化するのかを扱います。結果は、最適化の効果が手法に強く依存することを示しています。いくつかのアプローチは、安定した転移可能な改善をもたらす一方で、別のアプローチは、設定やデータのバランスに敏感です。とりわけ嗜好最適化は、目的関数ごとの差異が大きく、単に嗜好学習の段階を追加するだけではなく、手法選択がより決定的であることを示唆します。主要な貢献は、メンタルヘルスNLPに対する明確な最適化の物語（ナラティブ）です。すなわち、透明性のある基準から出発し、制御されたチューニングを適用し、そしてその利得が実証できる場合にのみ嗜好最適化を用いる、という流れです。これにより、アーキテクチャ選択だけに留まらない、有効な学習戦略を選ぶための、再現可能で実務的に裏付けられた枠組みが提供されます。