確率的学習における暗黙のバイアスの理解と逆設計：幾何学的観点から

概要: 機械学習における重要な課題は、過剰パラメータ化されたモデルにおいて、同一の損失値を達成する多くの解のうち、学習ダイナミクスがどの解を選び出すのかを説明することです。この現象は暗黙のバイアス（implicit bias）として知られています。このバイアスを制御することは、現代のAIシステムにおける解釈可能性・頑健性・推論の中核となる学習表現に対する直接的なメカニズムを提供します。しかし、その重要性にもかかわらず、既存の説明は概ね場当たり的であり、統一的なメカニズムを欠いています。私たちは、暗黙のバイアスが、勾配ノイズと損失の連続的対称性との相互作用によって誘起される幾何学的補正として現れる理論的かつ構成的な枠組みを開発します。この誘起されたバイアスを、さまざまなアーキテクチャにわたって計算し、新しい振る舞いを予測するとともに、既知の現象を説明します。さらに、このアプローチは逆設計も可能にします。予測器を設計することで—パラメータ化を保存する—バイアスを形作ることができ、疎性（sparsity）やスペクトル的疎性（spectral sparsity）が代表的な具体例として現れます。数値実験は理論を支持し、制御された状況において逆設計の枠組みを検証します。