直交化された低ランク・アダプタによるLLMのスケーラブルな変分ベイズ微調整

要旨: 大規模言語モデル（LLM）を安全性が重要なアプリケーションに導入する際には、LLMベースの意思決定の信頼性を自己評価するための不確実性定量化（UQ）が、最も重要です。しかし、そのような意思決定は典型的に過信（オーバーコンフィデンス）に悩まされます。とりわけ、データが限られた下流のドメイン固有タスクに対して、パラメータ効率のよい微調整（PEFT）を行った後に顕著になります。この問題を緩和する既存手法は、(1) 学習後にラプラス近似にもとづく枠組みに依存するものですが、学習軌跡（training trajectory）によってキャリブレーションが最適にならない可能性があるか、あるいは、(2) 推論時にモンテカルロ推定のためにLLMバックボーン全体を複数回の完全なフォワードパスで回す必要がある変分ベイズ学習であり、そのため導入のスケーラビリティに課題がある、といういずれかです。これらの制約に対処するため、私たちはベイズ最終層（BLL）モデルを基盤とします。そこでは、LLMにもとづく決定論的な特徴抽出器の後に、最後の層のパラメータをランダム化したものを用いて、不確実性推論を行います。PEFT向けの既存の低ランク・アダプタ（LoRA）は、ランクの崩壊（rank collapse）により表現力が限られているため、直交化されたパラメータ化とリーマン最適化を組み合わせて、より安定かつ表現力の高い適応を可能にする、極分解低ランク・アダプタ表現（PoLAR）を提案します。このPoLAR-BLLモデルを基に、変分（V）推論フレームワークを活用し、PoLARパラメータと最後の層パラメータの近似事後分布（approximate posterior）を交互最適化によって同時に探索する、スケーラブルなベイズ微調整手法を提示します。その結果得られるPoLAR-VBLLは、アーキテクチャ拡張による最適化と、スケーラブルなベイズ推論をうまく統合し、LLMに対して適切にキャリブレーションされたUQを付与するための柔軟な枠組みです。私たちの実験結果は、PoLAR-VBLLが、さまざまな常識推論タスクにおいて、分布内データおよび分布外データの両方に対して、汎化性能と不確実性推定の観点で有効であることを検証しています。