MobileDev-Bench：モバイルアプリ開発における言語モデルを評価するための包括的ベンチマーク

要旨: 大規模言語モデル（LLM）は自動化されたソフトウェア工学タスクで強い性能を示しているものの、既存のベンチマークは主に汎用ライブラリやWebアプリケーションに焦点を当てており、厳格なプラットフォーム制約、フレームワーク主導のライフサイクル、複雑なプラットフォームAPIの相互作用があるにもかかわらず、モバイルアプリケーション開発はほとんど未探索のままです。私たちは、MobileDev-Benchを導入します。これは、Androidネイティブ（Java/Kotlin）、React Native（TypeScript）、Flutter（Dart）の18の本番モバイルアプリケーションにまたがって収集した、実世界の課題解決タスク384件からなるベンチマークです。各タスクは、開発者が報告した本物の課題と、実行可能なテストパッチを組にしており、モバイルのビルド環境内で、モデルが生成した修正の完全な自動検証を可能にします。このベンチマークはパッチの複雑性が大きいことが特徴です。平均で修正対象は12.5ファイル・324.9行に及び、35.7%のケースではソースやマニフェストファイルなど複数の成果物タイプにまたがる協調的な変更が必要となります。GPT-5.2、Claude Sonnet 4.5、Gemini Flash 2.5、Qwen3-Coderの4つの最先端のコード対応LLMを評価した結果、エンドツーエンド解決率は3.39%-5.21%と低く、先行ベンチマークと比べて大きな性能ギャップが明らかになりました。さらに分析すると、体系的な失敗モードが見えてきます。複数ファイルおよび複数成果物にまたがるフォールト・ローカライゼーションが主要なボトルネックとして現れています。