[D] AI/ML論文に理論的正当性をどのように付与するか？

皆さん、こんにちは。

AI/ML 論文に理論的正当性をどのように付与すればよいかを理解しようとしています。

私のバックグラウンドは主に経験的モデリングにあり、実験・結果・分析には自信があります。しかし、定理・補題・証明といった形式的な要素を含む論文をよく見かけ、その側面にどう取り組むべきか戸惑います。

例えば、異なるアテンションヘッドの出力を見て、注意機構の不確実性を測るというアイデアを検討しています。直感的には妥当だと感じますが、それを理論的に正当化したり厳密な枠組みで構成したりする方法がわかりません。

また、いくつかの論文が既存の定理を参照したり、私が大学院の授業で十分には学ばなかった理論に基づいているのを見かけ、ついていくのが難しくなることがあります。

では、私の質問は次のとおりです：

• 直感的なアイデアをどのようにして理論的正当化へと移すのですか？
• これを行うには高度な数学の基礎が必要ですか、それとも途中で学ぶことができますか？
• 経験的な研究と理論を結びつけるためのヒント、資料、または例はありますか？

ご指導いただけると幸いです。