アノテーションエントロピーはLoRA微調整における1サンプルごとの学習ダイナミクスを予測する
arXiv cs.LG / 2026/4/21
📰 ニュースModels & Research
要点
- この研究では、LoRAの微調整中に、アノテータ間の不一致（論争的な）例では学習が進むにつれて損失が増加する傾向があり、「忘却（un-learning）」のダイナミクスが見られることが示された。
- ChaosNLIの各例100ラベルから算出したアノテーションエントロピーと、SNLI/MNLI上での1サンプルごとの損失曲線下面積（AULC）を対応付けることで、モデル群を通じて一貫した正の相関が確認された。
- この効果はフルの微調整ではほとんど観測されず、6種類のアーキテクチャ（エンコーダ4、デコーダのみ2）で整合的に現れ、同一のLoRAランクではデコーダのみモデルでより強く表れる。
- 部分相関による制御のもとでも成り立ち、異なる乱数シードやデータセットにわたって再現されるほか、予備的なノイズ注入実験も同様の解釈を支持している。
- 総じて、アノテーションエントロピーは、パラメータ効率の高いLoRA適応において個々の学習サンプルがどう振る舞うかを予測する手がかりになり得る。
関連記事
NVIDIA DGX SparkフルスタックAIハッカソンで作ったものが総合1位に—『Starfire』から『Molecules AI』へ
Dev.to
進捗を失わない：VS Codeでプロ仕様のJupyterワークフローをセットアップする（Colabのタイムアウトともおさらば！）
Dev.to
AgentOSを作る：保険請求の「AWS Lambda」を目指している理由
Dev.to
状況はここまで来た——1年で何もかも変わった：Kimi、Minimax、Qwen、Gemma、GLM
Reddit r/LocalLLaMA
Grok-2 Mini と Grok-3（mini）はどこにあるのか？
Reddit r/LocalLLaMA
