オンライン金融QAのための大規模言語モデルにおけるデータ駆動型関数呼び出し改善

要旨: 大規模言語モデル（LLM）は、多数の産業用途に組み込まれてきました。一方で、金融領域では膨大なAPI資産がさまざまな機能の中に散在しています。オンラインの金融質問応答システムは、LLMとプライベートAPIの両方を活用して、適時な金融分析と情報提供を行えます。重要なのは、LLMモデルに対して金融シナリオに合わせた関数呼び出し能力を備えることです。しかし、汎用のLLMは、呼び出すためにカスタマイズされた金融APIを必要とし、金融領域への適応に苦労します。さらに、オンラインでのユーザ質問は多様であり、必要となる関数入力パラメータと比べて分布外（out-of-distribution）のパラメータを含むため、汎用LLMがオンラインユーザにサービスを提供することはより困難になります。本論文では、オンラインで実運用される金融QAにおけるLLMの関数呼び出しを強化するために、データ駆動型パイプラインを提案します。このパイプラインは、データセット構築、データ拡張、そしてモデル学習から構成されます。具体的には、過去の研究に基づいてデータセットを構築し、クエリとAugFCという拡張手法を組み込んで、定期的に更新します。ユーザ質問に関連するサンプルを追加することは、データ駆動の方法で
textit{金融ツールセットを活用} し、AugFCは更新されたデータセットの多様性を高めるために、考えられるパラメータ値を探索します。次に、金融機能を利用できるようにする2段階手法でLLMを学習します。既存のオフラインデータセットに対する大規模な実験、ならびにオンラインシナリオのデプロイを通して、我々のパイプラインの優位性を示します。関連するパイプラインは、中国最大級のチャットプラットフォームの1つであるYuanBaoootnote{https://yuanbao.tencent.com/chat/} の金融質問応答に採用されています。