Mantis：3Dポイントクラウド基盤モデル向けのMambaネイティブ・チューニングは効率的

arXiv cs.CV / 2026/5/6

📰 ニュースDeveloper Stack & InfrastructureTools & Practical UsageModels & Research

共有:

要点

この論文では、事前学習済みの3Dポイントクラウド基盤モデル（PFM）に対して最適化された、新しいMambaネイティブのパラメータ効率的ファインチューニング（PEFT）フレームワーク「Mantis」を提案する。
Transformerバックボーン向けに設計された既存のPEFT手法は、凍結したMambaモデルではトークン単位の適応とMambaの状態レベルの系列ダイナミクスの間で不整合が生じるため、そのまま転用すると精度低下や最適化の不安定さにつながると主張する。
Mantisは、事前学習済みバックボーンを凍結したまま状態レベルの適応を可能にするために、State-Aware Adapter（SAA）を導入し、選択した状態空間の更新へ軽量なタスク条件付き制御信号を注入する。
さらに、ポイントクラウドのシリアライズ方法に起因する不安定性を抑えるため、Dual-Serialization Consistency Distillation（DSCD）により異なる有効なシリアライズを正則化する。
複数のベンチマークでの実験の結果、Mantisは訓練するパラメータを約5%に抑えつつ競争力のある性能を達成し、コードも公開されている。

概要: 事前学習済みの3Dポイントクラウド基盤モデル（PFM）は、多様な下流タスク間で強い転移可能性を示している。しかし、これらのモデルを完全にファインチューニングするには計算コストとストレージ負荷が大きい。パラメータ効率の良いファインチューニング（PEFT）は有望な代替手段を提供するが、既存のPEFT手法は主にTransformerベースのバックボーン向けに設計されており、トークンレベルのプロンプトまたは特徴変換に依存している。Mambaベースのバックボーンは、トークンレベルの適応と状態レベルのシーケンスダイナミクスとの間で粒度の不一致を生じる。その結果、凍結したMambaバックボーンに既存のPEFT手法をそのまま適用すると、精度が大きく低下し、最適化が不安定になる。この問題に対処するため、3D PFM向けの初のMambaネイティブPEFTフレームワークであるMantisを提案する。具体的には、State-Aware Adapter（SAA）を導入し、選択した状態空間の更新に対して軽量なタスク条件付き制御信号を注入することで、事前学習済みバックボーンを凍結したまま状態レベルでの適応を可能にする。さらに、Dual-Serialization Consistency Distillation（DSCD）により、異なる妥当なポイントクラウドのシリアライズ表現を正則化し、シリアライズに起因する不安定性を低減する。複数のベンチマークにわたる大規模な実験の結果、我々のMantisは、訓練可能パラメータが約5%で競争力のある性能を達成することが示された。我々のコードは https://github.com/gzhhhhhhh/Mantis で公開している。