本番環境における自然言語からドメイン固有コード生成へのSLMファインチューニング

概要: 今日、多くのアプリケーションはコード生成のために大規模言語モデルを利用しています。しかし、生産（プロダクション）システムには厳格なレイテンシ要件があり、大規模モデルではそれを満たすことが難しい場合があります。数十億パラメータ程度の小規模言語モデルは資源効率に優れていますが、推論の能力が限られていたり、幻覚（ハルシネーション）が起きたり、より長いコンテキストの保持が不十分だったりすることがあります。ファインチューニングは、ドメイン知識をモデルの重みに直接埋め込むことで、タスク固有の精度を向上させ、実行時コンテキストへの依存を減らします。私たちは以前、大規模言語モデルに対して、ドメイン固有の言語コンテキストを埋め込むために、少数ショット例を動的に選択する検索拡張生成（RAG）パイプラインを用いた、自然言語からコード生成への基準となるアプローチを実装しました。本研究では、自然言語からドメイン固有言語を生成するために、小規模言語モデルを評価します。具体的には、自然言語とコードのペアからなるデータセットに対して、Mistralやその他のモデルのファインチューニング変種を行います。結果として、ファインチューニングしたモデルは、大規模モデルと比べてテストデータセットにおいて性能とレイテンシが改善されることが示されました。また、学習済みモデルを、一般的な性能を低下させることなく、顧客ごとのシナリオ向けにさらにファインチューニングできることも実証し、生産環境での問題の解決に役立つことを示しています。ロードテストを行った後に本番デプロイメントを実施したところ、レイテンシと品質の観点で最適なパフォーマンスが確認されました。これらの知見は、小規模言語モデルによるタスク固有のファインチューニングが、ドメイン固有言語生成において、大規模言語モデルに代わる効率的で、より高速で、費用対効果の高い選択肢となることを示しています。