GRACE：大規模言語モデル最適化のための動的コアセット選択フレームワーク

arXiv cs.AI / 2026/4/15

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、LLMの学習コストを下げるために、学習データから代表的な小規模サブセット（コアセット）を選びつつ学習を効率化する枠組みを提案している。
既存手法の「学習の動的変化に追従できない」「大規模LLMでスケールしにくい」という課題に対し、GRACEはグラフ誘導の適応的・動的なコアセット選択を行う。
GRACEは表現の多様性と勾配ベースの重要度指標を組み合わせ、コアセットの有益性（informativeness）と効率（efficiency）の両立を狙っている。
頻繁な更新の計算コストを抑えるために、k-NNグラフに基づく伝播（propagation）を用い、スコアや埋め込みを選択的に更新して学習ダイナミクスの変化に適応する。
3つのベンチマークに関する広範な実験では、GRACEが学習効率と下流タスク性能の双方を、さまざまなLLM・タスクで改善することを示している。

要旨: 大規模言語モデル（LLM）は、自然言語理解および生成において目覚ましい能力を示している。しかし、その膨大なパラメータ数と複雑なトランスフォーマー系アーキテクチャのため、学習時に大きな計算資源と計算複雑性が必要となり、大規模データセットに対して効率的に最適化することが難しい。性能を維持しつつ学習コストを削減するために、研究者らはコアセット選択手法を調査してきた。これらは、LLMの学習を加速するために、全学習データセットの中から小さく代表的な部分集合を特定することを目的とする。しかし既存のコアセット選択手法は、LLM学習の動的な性質に適応できず、この規模のモデルに対するスケーラビリティにもしばしば苦戦する。これらの制約に対処するために、我々は、GRACE（GRaph-guided Adaptive and dynamic coreset selection framework for LLMs）として知られる、LLM向けのグラフ誘導型の適応的かつ動的なコアセット選択フレームワークを提案する。GRACEは、表現の多様性と勾配ベースの重要度指標を組み合わせることで、コアセットを動的に構築・更新し、情報性と効率の両立を保証する。頻繁な更新に伴う計算コストを軽減するために、GRACEは $k$ -NNグラフに基づく伝搬メカニズムを活用し、スコアと埋め込みを選択的に更新することで、学習の変化するダイナミクスに適応する。3つのベンチマークにおける大規模な実験により、GRACEが、多様なLLMとタスクにわたって学習効率および下流性能を大幅に改善することが示される。