GameUIAgent: 構造化中間表現を用いた自動化されたゲームUI設計のためのLLM搭載フレームワーク

arXiv cs.AI / 2026/3/17

📰 ニュースIdeas & Deep AnalysisTools & Practical UsageModels & Research

共有:

要点

GameUIAgentは、自然言語のデザイン記述を、6段階のニューロー・シンボリック・パイプラインの中で、Design Spec JSONという中間表現を用いて、編集可能なFigmaアセットへ変換します。
このパイプラインは、LLM生成、決定論的後処理、およびVision-Language Model（VLM）主導のReflection Controllerを組み合わせ、非後退性の品質を保証しつつ、反復的に自己修正します。
110のテストケース、3つのLLM、および3つのUIテンプレートにわたる評価を通じて、本研究はゲームドメインの故障分類（希少性依存の劣化と視覚的空虚感）を特定し、2つの重要な実証的発見：品質上限効果とレンダリング評価忠実性の原理を示します。
これらの発見は、ゲーム制作におけるLLM駆動の視覚生成エージェントの基礎的原則を確立するとともに、RCの改善には限界があること、部分レンダリングがVLM評価に及ぼす予期せぬ影響を明らかにします。

Azure OpenAI Service ドキュメント

Reddit r/artificial

Dev.to

Reddit r/MachineLearning

Dev.to