私はニューラルネットワークにおける三値重み量子化について読んでいて、この方向性をML研究コミュニティがどれほど本気で取り上げているのか知りたくなりました。理論的な魅力は明確に見えます。三値の重み（+1, 0, -1）は、倍精度に近い完全な精度の重みや、あるいは厳密な二値ネットワークと比べて、モデルサイズと推論コストを大幅に削減できる一方で、厳密な二値よりも高い表現力を維持できるという点です。2016年のTWN（Ternary Weight Networks）や、それ以降の新しい研究のいくつかは、これは効率的な推論に向けた現実的な道筋だということを示唆しています。よく分からなかったのは学習の話です。私が見てきた三値ネットワークの研究の多くは、事後学習型の量子化に焦点を当てています。つまり、まずは完全精度で学習し、その後に量子化するのです。しかし、勾配降下ではなく進化的な選択メカニズムを用いて、三値でネイティブに学習できると主張するアーキテクチャへの言及を見つけました。主張としては、ネイティブな三値学習によって不確実性をより自然に表現でき、学習後に凍結するのではなく、適応性を保ったモデルが得られる、というものです。このプロジェクトはQubicによって開発されたAigarthと呼ばれています。私はこの主張を厳密に評価できる立場にはありません。とはいえ、バックプロパゲーションではなくネイティブな三値学習＋進化的最適化という組み合わせは十分に珍しいので、質問したいのです。これは既知の研究方向なのでしょうか？ 進化的手法を用いたネイティブな三値学習を探る、査読付きの論文はありますか？ 本当に新規性があるのでしょうか、それとも自分が見落としている明らかな先行研究があるのでしょうか？
[link] [comments]
