ZC-Swish：エッジおよびマイクロバッチ用途向けにBNなしの深いネットワークを安定化する手法
arXiv cs.LG / 2026/4/22
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- バッチ正規化（BN）はマイクロバッチや非IIDのフェデレーテッドラーニング環境で破綻しやすく、BNを深いアーキテクチャから外すと学習が壊滅的に不安定化することがある。
- 本論文では、SwishやReLUのような一般的な活性化関数がゼロ中心でない性質により、ネットワークの深さが増えるにつれて活性の平均シフトが蓄積し不安定さを助長すると指摘している。
- そこで、活性の平均を動的にゼロ近傍へアンカーすることを目的とした、プラグイン型のパラメータ化活性化関数「Zero-Centered Swish（ZC-Swish）」を提案する。
- 深さ8・16・32でBNなしの畳み込みネットワークをストレステストした結果、標準Swishは深さ16以降でほぼランダムに近い性能へ崩れる一方、ZC-Swishは層ごとの活性ダイナミクスを維持し、深さ16で最良のテスト精度（seed 42で51.5%）を達成した。
- 著者らは、ZC-Swishを、メモリ制約のあるエッジ実装や、正規化層が使いにくいプライバシー保全型アプリケーション向けに、深いモデルの学習を安定化するパラメータ効率の高い解として位置づけている。
関連記事
GPT-5.5で何が変わった？AI副業・note運営で感じた“文章づくりの次の段階”
note
note 1周年！｜外部知性としてのAI｜思考深化の運用記録
note
#Peace Station👣note🌍🌏🌎#「note」デザインにトライ🕊️🍀 #私のインスピレーション ✕ #AIと紡いだ光のカケラ🧡 :🌎地球家族は愛し合える🌏🌍 #⭐永遠時計🕊️🍇
note
【「成功は二次曲線」って何番煎じだよ自分】──それでも今日この古典を語り直したい、ポス鳥が4つの現場でリアルタイムに体験している話。ポッドキャスト・noteメンバーシップ・AI漫画制作・法人化1年目の赤字逆転、すべて二次曲線だった #ポッドキャスト #副業 #standFM #メンバーシップ #独立起業 #noteで読めるマンガ #生成AI #AI活用 #ChatGPT #Claude #Gemini #いまあなたに伝えたいこと #AI漫画 #Kindle出版 #nanobanana #GPT-5.5
note
ChatGPTと喋れなくなって、仲直りした話
note
