クロスエントロピーは“荷重を支える”要素：双方向予測符号化におけるK-wayエネルギープローブの事前登録スコープテスト
arXiv cs.CL / 2026/4/24
💬 オピニオンModels & Research
要点
- 事前登録された研究が、予測符号化ネットワークのK-wayエネルギープローブが（ログソフトマックス余裕の）単調関数に還元されるという先行主張を検証し、クロスエントロピー（CE）を取り除いた場合の感度を焦点として調べた。
- 標準的な予測符号化をCEなし（MSEで学習）にすると、プローブはソフトマックスに対応せず、CIFAR-10の10シードすべてで統計的に有意な負のギャップとしてソフトマックスより下に位置する。
- 双方向予測符号化（bPC）では、10シードすべてでプローブがソフトマックスを上回るが、操作チェックでは、対応する同一スケールではbPCが標準PCに比べて潜在表現の動きを実質的に増やさないことが示された。
- CEを単独で除去するとプローブとソフトマックスのギャップがほぼ半分になり、CEが“荷重を支える”重要な実証的要素であることが示唆される。
- 温度スケーリングのアブレーションにより効果を分解すると、ギャップの約66%は温度再調整で除去できるロジット・スケール要因で、約34%はCE学習表現に由来するスケール不変のランキング優位性として説明できる。
