SPRITE：静的モックからエンジンで動くゲームUIへ

arXiv cs.AI / 2026/4/22

💬 オピニオンDeveloper Stack & InfrastructureModels & Research

共有:

要点

本論文では、ゲームUIのモックアップをインタラクティブなエンジン要素へ翻訳して、静的スクリーンショットから編集可能なエンジン準備済みアセットを生成するSPRITEというパイプラインを提案しています。
既存の「スクリーンショットからコード」系ツールが、ゲームUIに典型的な不規則な形状や深い視覚階層を扱う際に抱える課題に対処します。
SPRITEはVision-Language Models（VLM）と、複雑なコンテナ関係や非矩形レイアウトを明示的に表現する構造化されたYAMLの中間表現を組み合わせています。
キュレーションしたGame UIベンチマークおよび開発プロフェッショナルによる専門家レビューで評価し、再構成の忠実度とプロトタイピング効率の向上を報告しています。
まとめると、SPRITEはUIの面倒なコーディングを自動化し、インエンジンでの迅速な反復を可能にすることで、デザインと実装の境界を薄くすることを目指しています。

Abstract

ゲームUIの実装では、様式化されたモックアップをインタラクティブなエンジンのエンティティへ翻訳する必要があります。しかし、現在の「Screenshot-to-Code（スクリーンショットからコードへ）」ツールは、ゲームインターフェースに典型的な不規則なジオメトリや深い視覚的階層にしばしば苦戦します。このギャップを埋めるために、静的なスクリーンショットを編集可能なエンジンアセットへ変換するパイプラインであるSPRITEを導入します。Vision-Language Models（VLM：視覚言語モデル）を、構造化されたYAMLの中間表現と統合することで、SPRITEは複雑なコンテナ関係や非矩形のレイアウトを明示的に捉えます。私たちは、厳選したGame UIベンチマークに対してSPRITEを評価し、復元の忠実度とプロトタイピング効率を見積もるために、専門開発者によるエキスパートレビューも実施しました。結果は、SPRITEが退屈なコーディングを自動化し、複雑なネストを解決することで開発を効率化することを示しています。エンジン内での迅速な反復を可能にすることで、SPRITEはゲーム開発におけるアーティスティックな設計と技術的な実装の境界を効果的に曖昧にします。プロジェクトページ: https://baiyunshu.github.io/sprite.github.io/