算術から論理へ：パラメータのビット反転に対する論理およびルックアップベースのニューラルネットワークの回復力

概要: 安全性が極めて重要なエッジ環境において深層ニューラルネットワーク（DNN）を展開するには、ハードウェアに起因するビット反転エラーに対する堅牢性が必要となる。経験的研究では数値精度を下げることでフォールトトレランスが向上し得ることが示されている一方で、この現象に関する理論的基盤は十分に解明されていない。本研究では、データセット固有の学習済み解に対する性質としてではなく、ニューラルアーキテクチャの構造的性質としてレジリエンス（回復力）を検討する。複数の数値フォーマットおよび層のプリミティブにわたって、パラメータのビット反転が独立に生じると仮定した下で期待二乗誤差（MSE）を導出することで、低い精度、高いスパース性、活性の有界性、浅い深さが、この破損モデルのもとで一貫して好まれることを示す。さらに、この設計トレンドの双方の限界に対して、論理ベースおよびルックアップベースのニューラルネットワークが共同で到達していることを論じる。MLPerf Tiny ベンチマークスイートに対するアブレーション（寄与度除去）研究により、観測された経験的傾向が理論的予測と整合していること、また、LUTベースのモデルは通常の浮動小数点モデルが急激に破綻する破損状況においても非常に高い安定性を維持することを示す。加えて、論理ベースのアーキテクチャに固有の新しい「偶数層における回復」効果を同定し、それが現れる構造的条件を解析する。総じて、本研究の結果は、連続的な算術重みから離散的なブールのルックアップへと切り替えることが、ハードウェアのフォールトトレランスに対して有利な精度-レジリエンスのトレードオフをもたらし得ることを示唆している。