包括的な路面状態の自動評価のための視覚言語基盤モデル

概要: 汎用の視覚言語モデルは日常的な領域で強い性能を示す一方、正確な専門用語、構造化された推論、そして工学標準への厳密な遵守を要する専門的な技術分野では苦戦する。本研究は、ドメイン固有の指示チューニングによって視覚言語モデルを用いた包括的な舗装状態の評価が可能になるかどうかを扱う。9つの異種の舗装データセットに由来する注釈を統合することで、32種類のタスクタイプにまたがる278,889件の画像-指示-応答ペアを含むデータセットPaveInstructを作成した。このデータセットで訓練された舗装基盤モデルであるPaveGPTは、知覚、理解、推論のタスクにわたって最先端の視覚言語モデルと比較評価された。指示チューニングによりモデルの能力は変化し、空間的グラウンディング、推論、生成タスクで20%を超える改善を達成しつつ、ASTM D6433に準拠した出力を生成した。これらの結果により、複数の専門システムを置き換える統一された対話型アセスメントツールを交通機関が導入できるようになり、ワークフローが簡素化され、必要な技術的専門知識の負担が軽減される。本アプローチは、橋梁の点検、鉄道の保守、建物の状態評価などのインフラ領域において、指示駆動型AIシステムを開発するための道筋を確立する。