低ランクのアモート化ベイズ的メタラーニングによる，大規模言語モデルのためのスケール可能なメタラーニング

概要: 低ランク適応（LoRA）による大規模言語モデル（LLM）のファインチューニングは、特定のデータセットからの情報を取り込むための費用対効果の高い方法です。しかし、問題によっては、複数のデータセットからの情報を取り込む必要があり（少数ショット学習のように）、データセット間の汎化が制限され、その結果として学習コストが増大します。そのため、この設定では通常、インコンテキスト学習のような別のアプローチが用いられます。この課題に対処するため、私たちは、複数の分布にわたってLLMの重みを適応させるための効率的な方法、LoRAのためのアモータイズド・ベイズ的メタ学習（ABMLL）を提案します。本手法は、小規模モデル向けのアモータイズド・ベイズ的メタ学習に基づき、LoRAにおいて局所変数と大域変数が定義される場所を再構成すること、ならびに再構成精度と、タスク固有パラメータが大域パラメータにどれほど忠実であるかのバランスを取るための新しいハイパーパラメータを導入することで、LLMに適用します。ABMLLはデータセット間で効果的な汎化を可能にし、Llama3-8BやQwen2-7Bのような大規模モデルにもスケールします。CrossFitおよびUnified-QAデータセットにおいて、精度と期待較正誤差の両方の観点で、既存手法を上回ります。さらに、メタ学習をインコンテキスト学習と組み合わせることもでき、その結果として、これら2つのデータセットに加えて、法務および化学の応用分野でもさらなる改善が得られることを示します。