パワー則の力：非対称性が合成的推論を可能にする
arXiv cs.AI / 2026/4/28
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- この論文は、自然言語の知識やスキルがパワー則（べき乗則）分布に従う一方で、一般的な直感（一様分布に近づけることで長い尾のスキルを学びやすくなる）に反して、合成的推論タスクではパワー則サンプリングで学習した方が一様データで学習するより優れると主張しています。
- この効果は、状態トラッキングや多段の算術など、複数のスキルを手順をまたいで組み合わせる必要があるさまざまな合成的推論の場面で報告されています。
- 著者らは簡素化した「スキル合成」課題を提示し、理論的にパワー則分布での学習は一様分布での学習よりも、達成に必要な訓練データ量が大幅に少なくて済むことを示します。
- 解析では、その優位性を、パワー則サンプリングが生む「有益な非対称性」が損失（ロス）地形を改善し、データ効率よく希少な長い尾のスキルを学ぶための足がかりとして、まず頻出のスキル合成を低い複雑度で獲得できる点に求めています。
- 全体として、この研究は合成的推論のための学習データ分布の選び方に関する見方を刷新し、均一化にこだわるよりもパワー則のような非一様サンプリングが本質的に有効である可能性を示唆しています。
