最近、幾何学的ディープラーニング（いわゆる格子、グラフ、群、多様体のアイデア一式）について読んでいて、明確にしたいと思ったことがあって、なにかが腑に落ちました。ここで言及されていることについて、私はGDLの専門家ではないので、根本的なところで勘違いしている可能性もありますが、
現代のディープラーニングの多くは、大量のデータと計算を投げて、モデルが正しい不変性を学んでくれることを期待しているように感じます。
でもGDLって、それをひっくり返すものではないのでしょうか？
不変性（回転、置換など）を学習するのではなく、対称性や幾何学を使ってそれらをアーキテクチャに直接組み込めます。すると疑問に思ったのですが、モデルが文字通り対称性を破れない（回転した猫を別のものと取り違えることができない）なら、それを学ぶのに大量の例がそもそも必要なのでしょうか？回転不変性がすでに保証されているなら、なぜ10,000枚もの回転された猫を見せる必要があるのですか？
そして、より大きな問いにつながります：
私たちは大規模な事前学習を、主にアーキテクチャが適切な帰納バイアスを欠いているから行っているのでしょうか？そして幾何を正しくできれば、大規模なデータセットが本当に必要とされる量は減るのでしょうか？
データからすべてを学ぶというより、「そうでなければならないことを符号化する」ことにシフトして、残りを学ぶ、という感じがします。
まだGDLの最近の進展については十分に読めていないので、十分にコメントできていませんが、専門家の皆さんに聞いてみるべきだと思いました。
[link] [comments]
