要約:
堅牢な3D物体検出は、悪天候条件下で自動運転にとって極めて重要です。
しかし、既存の多くの手法は訓練の際に全ての天候サンプルを単純に結合するだけで、異なる天候シナリオ間のデータ分布の差異を見落とし、性能の衝突を招いています。
この問題に対処するため、AW-MoEを導入します。これは天候耐性を高めるマルチモーダル3D物体検出手法に、Mixture of Experts (MoE) を革新的に組み込むフレームワークです。
AW-MoEは、Image-guided Weather-aware Routing (IWR) を組み込み、天候条件を横断する画像特徴の卓越した識別性と、シーン変動に対する不変性を活用して、正確な天候分類を実現します。
この正確な分類に基づき、IWRはデータの不一致を扱う最も関連性の高い上位K個のWeather-Specific Experts (WSE) を選択し、すべての天候条件下で最適な検出を保証します。
さらに、シーンのリアリズムを保ちながら、LiDARと4D Radarのデュアルモーダルデータ拡張を同期させるUnified Dual-Modal Augmentation (UDMA) を提案します。
実世界データセットでの大規模実験は、AW-MoEが最先端手法と比較して悪天候下での性能を約15%向上させつつ、推論オーバーヘッドはほとんどないことを示しています。
さらに、確立されたベースライン検出器にAW-MoEを組み込むことで、現在の最先端手法を上回る性能向上を達成します。
これらの結果は、我々のAW-MoEの有効性と高いスケーラビリティを示しています。
コードは公開します: https://github.com/windlinsherlock/AW-MoE
AW-MoE: 全天候対応のマルチモーダル3D物体検出のためのエキスパート混成モデル
arXiv cs.CV / 2026/3/18
📰 ニュースModels & Research
要点
- AW-MoEは、エキスパートの混成モデルを天候に頑健なマルチモーダル3D物体検出と組み合わせることで、異なる天候シナリオ間のデータ分布の偏りに対処します。
- 本研究は、画像特徴を用いて天候を分類し、入力ごとにトップ-Kの天候特異的エキスパートを選択する Image-guided Weather-aware Routing（IWR）を導入します。
- また、シーンのリアリズムを保持しつつ、LiDARと4Dレーダデータの同期拡張を行う Unified Dual-Modal Augmentation（UDMA）を提案します。
- 実験結果は、最先端手法と比較して悪天候時の性能が約15%向上し、推論オーバーヘッドはほとんどなく、既存のベースラインへ統合した場合には追加の利得が得られることを示しています。
- 著者らはコードをGitHubで公開する予定です。
関連記事
数学には思考の時間が、日常知識には記憶が必要であり、新しいTransformerアーキテクチャは両方を実現することを目指す
THE DECODER
Kreuzberg v4.5.0: Doclingのモデルをとても気に入ったので、より高速なエンジンを搭載しました
Reddit r/LocalLLaMA
今日は、qwen 120B のような比較的大きめのローカルモデルを動かすには、どんなハードウェアを用意すべきか？
Reddit r/LocalLLaMA
会議ノート作成のためにMistralをローカルで実行することは、私の用途には正直十分だ
Reddit r/LocalLLaMA
[D] 5つの年代にわたる単一アーティストの長期的ファインアートデータセットがHugging Faceに公開 — スタイルの進化、人物表現、倫理的トレーニングデータの潜在的応用
Reddit r/MachineLearning
