フロントエンドコード生成のための視覚ガイド付き反復的洗練

概要: 大規模言語モデルによるコード生成は、多くの場合、多段階の人間を介した（human-in-the-loop）修正に依存しており、効果的ではあるものの非常にコストがかかります。特に、解決策の品質がレンダリングされた視覚的出力に依存するフロントエンドWeb開発のような領域では、その傾向が顕著です。本研究では、完全自動のcritic-in-the-loop（批評を介したループ）フレームワークを提案します。この枠組みでは、視覚と言語のモデル（vision-language model）が、生成されたコードの反復的な改良を導くために、レンダリングされたWebページに対して構造化されたフィードバックを提供する「視覚的な批評家」として機能します。WebDev Arenaデータセットに含まれる実世界のユーザー要求に対して、このアプローチは、3回の修正サイクルにわたって、解決策の品質を最大17.8%向上させるなど、一貫した改善をもたらします。次に、LoRAを用いたパラメータ効率の高い微調整を調査し、批評家によってもたらされる改善が、コード生成用のLLMの中に内在化され得るのかを検討します。微調整は、トークン数の大幅な増加なしに、最良のcritic-in-the-loop解における得点の25%を達成します。以上の結果は、フロントエンドのコード生成に対する自動化されたVLMベースの批評が、単一のLLM推論1回で到達できる品質よりも有意に高い解決策につながることを示しており、Web開発に伴う複雑な視覚的出力に対して反復的な修正が重要であることを強調しています。