クロスアテンションを用いたマルチモーダル・ユーザインタフェース制御検出

Abstract

ソフトウェアのスクリーンショットからユーザインタフェース（UI）制御（コントロール）を検出することは、自動テスト、アクセシビリティ（利用しやすさ）、およびソフトウェア分析において重要なタスクですが、ピクセルのみのアプローチでは視覚的な曖昧さ、デザインの多様性、そして文脈手がかりの欠如により、依然として困難です。本論文では、クロスアテンションモジュールを通じて、UI画像のGPT生成によるテキスト記述を検出パイプラインへ統合する、YOLOv5の新しいマルチモーダル拡張を提案します。視覚的特徴を、テキスト埋め込みから得られる意味情報に整合させることで、当モデルは、より頑健で文脈を考慮したUIコントロール検出を可能にします。提案する枠組みは、23の制御クラスにまたがる16,000件超の注釈付きUIスクリーンショットからなる大規模データセットで評価します。大規模な実験により、3つの融合戦略、すなわち要素ごとの加算、重み付き和、畳み込み融合を比較し、いずれもベースラインのYOLOv5モデルに対して一貫した改善が示されます。なかでも畳み込み融合が最も高い性能を達成し、意味的に複雑、または視覚的に曖昧なクラスの検出において大きな向上が見られました。これらの結果は、視覚モダリティとテキストモダリティを組み合わせることで、UI要素検出を大幅に強化できること、特に視覚情報だけでは不十分なエッジケースにおいて有効であることを示しています。本研究の成果は、ソフトウェアテスト、アクセシビリティ支援、UI分析において、より信頼性の高いインテリジェントなツールに向けた有望な機会を切り開くとともに、効率的で頑健かつ汎用可能なマルチモーダル検出システムに関する今後の研究の土台を築きます。