ln \ln T の因子を取り除くために、シフトされた KT ポテンシャルを導入しました。この短い技術ノートでは、それが Krichevsky--Trofimov アルゴリズムにおける事前分布を変更することと同値であることを示します。さらに、同じ発想を用いて、Squint アルゴリズムにおけるデータ非依存の上界から
ln \ln T$ の因子を取り除く方法を示します。
Squint bound の \(\ln\ln T\) 項を取り除く方法に関するノート
arXiv cs.LG / 2026/4/30
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本ノートは、Orabona と Pál（2016）の「shifted KT potentials」手法が、Krichevsky–Trofimov（KT）アルゴリズムで用いる事前分布（prior）の変更として解釈できることを説明しています。
- その事前分布の変更と、パラメータ不要のエキスパート境界において不要な \(\ln\ln T\) 因子を除去する手法の効果との同値性を示します。
- 同様の発想を Squint アルゴリズムにも適用し、データ非依存の境界から \(\ln\ln T\) 因子を取り除く方法を示します。
- 要するに、KT と Squint という異なるオンライン学習設定にまたがって、証明技法を明確化・転用することが主な内容です。
