NeurIPS 2023 LLM効率チャレンジに向けた次世代AIソリューション

Abstract

大規模言語モデル（LLM）の急速な進化は、自然言語処理分野に大きな影響を与えてきましたが、その複雑性の高まりは、リソース使用と透明性に関する懸念も引き起こしています。これらの課題に対処するため、私たちは厳しい制約のもとで基盤モデルを微調整することを目的として、NeurIPS LLM Efficiency Challenge に参加しました。私たちの焦点は 700 億（70 billion）の LLaMa2 モデルであり、24 時間の制限内で、単一の A100 40GB GPU 上で最適化しました。私たちの手法は、チャレンジが掲げるオープンソースの理念に沿うように、さまざまなオープンソース資源とベンチマークテストから慎重に組み立てた独自データセットに基づいています。私たちのアプローチは、Quantized-Low Rank Adaptation（QLoRA）によるファインチューニングを活用し、Flash Attention 2 のような高度な注意機構を統合しました。LoRA 技術のさまざまな設定を試し、計算効率とモデル精度のバランスを最適化しました。ファインチューニング戦略は、複数のデータセット構成を作成し、それを反復的にテストすることによって支えられ、その結果、多様なタスクとベンチマークにわたって堅牢な性能を示した版を選定しました。これらの取り組みの到達点は、単一 GPU の制約の中で動作する、効率的にファインチューニングされた LLaMa2 70B モデルでした。これにより、リソース使用量の大幅な削減だけでなく、さまざまな QA ベンチマークにおいても高い精度が示されました。本研究は、資源に制約のある環境で大規模モデルを最適化することの実現可能性を示す証左であり、実世界のアプリケーションにおける LLM の可能性を強調するものです。