人間の嗜好に合わせて生成AIを調整する：オンラインレビュー運用のための新しい大規模言語モデル微調整手法

要旨: オンラインレビューは、消費者の意思決定プロセスにおいて極めて重要な役割を果たしてきた。既存研究では、マネジャーによるレビューへの応答が、顧客関係管理および企業の業績に大きな影響を与えることが示されている。だが、急速に増大するオンラインレビューに迅速に応答するために必要となる相当な人的労力のため、オンラインレビューの大部分はいまだ未対応のままである。生成AIは幅広いタスクで目覚ましい成功を収めているが、これらは汎用のモデルであり、領域固有の人間の嗜好にうまく適合しない可能性がある。こうした汎用の生成AIモデルを領域固有の用途に合わせて調整するために、ファインチューニングが一般に用いられる。しかし、領域固有のデータでファインチューニングする際には、幻覚（ハルシネーション）、領域固有の人間の嗜好を表現することの難しさ、オフライン方策最適化における過度な保守性といった、いくつかの課題が依然として残っている。これらの課題に対処するために、本研究では、オンラインレビューへの応答文を生成するために、LLMを領域固有の人間の嗜好へ整合させる新しい嗜好ファインチューニング手法を提案する。具体的には、まず幻覚の発生源を特定し、LLMの幻覚を抑制するための効果的な文脈（コンテキスト）拡張手法を提案する。人間の嗜好を表現するために、オンラインレビュー領域において人間の嗜好ペアを自動的に構築する、理論に基づく新しい嗜好ファインチューニングアプローチを提案する。さらに、嗜好ファインチューニングを一層強化するためのカリキュラム学習アプローチも提案する。既存のオフライン嗜好ファインチューニング手法における過度な保守性という課題を克服するために、保守性を緩和する新しい密度推定ベースのサポート制約手法を提案し、その優れた理論的保証を数学的に証明する。広範な評価により、提案する嗜好ファインチューニング手法の優位性が裏付けられる。