アダプタ不要のファインチューニング手法：3D基盤モデルの調整

Abstract

ポイントクラウド基盤モデルは強い汎化性能を示すものの、下流タスクへの適応は低データ領域では依然として困難です。完全微調整（full fine-tuning）を行うと過学習が起きやすく、事前学習済み表現からの大きなドリフト（ずれ）につながります。一方、既存のパラメータ効率的微調整（PEFT）手法は、推論時の遅延増加という代償を払うことで、この問題を緩和します。私たちは、完全微調整とパラメータ効率的微調整のギャップを埋める、アダプタ不要の手法であるMomentum-Consistency Fine-Tuning（MCFT）を提案します。MCFTは、事前学習済みエンコーダの一部のみを選択的に微調整し、タスク非依存的な表現を保持するために、運動量（momentum）ベースの整合性制約を課します。PEFT手法とは異なり、MCFTは標準的なタスクヘッド以外の追加の表現学習パラメータを導入しないため、元のモデルのパラメータ数と推論効率を維持できます。さらにMCFTを2つのバリアントで拡張します。1つは、豊富な未ラベルデータを活用して少数ショット性能を高める半教師ありフレームワークであり、もう1つは、構造化された層の削除によって計算効率を改善するプルーニング（pruning）ベースのバリアントです。物体認識および部位セグメンテーションのベンチマークに関する大規模な実験により、MCFTは一貫して従来手法を上回り、5-shot設定で3.30%の向上、半教師あり学習では最大で6.13%の改善を達成しつつ、資源が制約された環境での導入にも適しています。