[D] 私は Qubic というプロジェクトの技術的な構成を理解しようとし続けています。これはニューラルネットワークの学習に分散型のプルーフ・オブ・ワーク計算を使うと主張しています。技術的にその考え方は筋が通っているのかを知りたいのです。分散学習の主な問題は「調整（coordination）」です。大規模なニューラルネットワークの学習では、ノード間で勾配（グラディエント）の更新を頻繁に共有する必要があります。このプロセスは遅延に敏感で、別々のマシンでインターネット越しに行うよりも、データセンター内の高速な接続環境の方がはるかにうまく機能します。実際に分散機械学習の仕事をしている人への質問です。勾配同期の必要をそもそも回避できる学習方法は存在するのでしょうか？Qubic は、その Aigarth AI システムをバックプロパゲーションではなく進化的選択（evolutionary selection）を使うものとして説明しています。つまり共有すべき勾配が存在しません。各ノードは自分自身で、自分自身のモデルを進化させます。そして選択圧は、対応する重みの更新を通じてというよりは、時間の経過とともにモデル全体の集合に対して作用します。もしその説明が正しいなら、通常の協調（coordination）問題は取り除かれるはずです。このプロセスは、標準的な深層学習の学習というよりは、遺伝的アルゴリズムの探索のように動作するでしょう。質問は次のとおりです：
- 進化的なモデル探索は機械学習研究における本当の方向性なのでしょうか、それとも勾配降下法よりもパフォーマンスが悪いことが示されているのでしょうか？
- それが本当の方向性であるなら、分散型のプルーフ・オブ・ワークのモデルは、このアプローチに対して標準的なバックプロパゲーション学習よりもより適しているのでしょうか？
- 大規模な規模で、進化的手法を標準的な学習と比較する公開研究はありますか？
私は、そのアーキテクチャが技術的に意味のあるものかどうかを理解したいだけです。このプロジェクトを判断するためではありません。
[link] [comments]
