UAV点検におけるパワーライン分割のセマンティック評価のためのLLM-as-Judge

要旨: 自律的な送電線検査のために、ドローンに軽量なセグメンテーションモデルを搭載して運用することは重要な課題を伴う。すなわち、学習データとは異なる現実の環境下で、信頼性の高い性能を維持する必要がある。U-Net のような小型アーキテクチャはリアルタイムの機内推論を可能にする一方で、そのセグメンテーション出力は好ましくない環境では予測不能な形で劣化し、安全上の懸念が生じる。本研究では、大規模言語モデル（LLM）をセマンティックジャッジとして用い、ドローン搭載モデルが生成した送電線セグメンテーション結果の信頼性を評価できる可能性を検討する。新しい検査システムを導入するのではなく、オフボードの LLM がセグメンテーションのオーバーレイを評価し、そのようなジャッジを一貫して、かつ知覚的に首尾一貫したふるまいとして信頼できるかを調べる、ウォッチドッグ（監視）シナリオを形式化する。これに向けて、ジャッジの再現性と感度を分析する 2 つの評価プロトコルを設計する。まず、同一の入力と固定したプロンプトで LLM に繰り返し問い合わせ、品質スコアと信頼度推定の安定性を測定することで再現性を評価する。次に、制御された視覚的な破損（霧、雨、雪、影、サンフレア）を導入し、セグメンテーション品質が段階的に劣化していくときにジャッジの出力がどのように応答するかを分析することで、知覚的感度を評価する。結果として、LLM は同一条件下では高い一貫性をもってカテゴリ判断を行う一方で、視覚的な信頼性が低下するにつれて適切に信頼度が下がることが示された。さらに、困難な条件下でも、欠落または誤って識別された送電線といった知覚的手掛かりに対して、ジャッジは引き続き応答性を保つ。これらの知見は、注意深く制約を設ければ、LLM は安全性が重要な空中検査タスクにおいてセグメンテーション品質を監視するための信頼できるセマンティックジャッジとして機能しうることを示唆している。