EmoStory: 感情を意識したストーリー生成

本文: arXiv:2603.10349v1 アナウンスタイプ: 新規 Abstract: ストーリー生成は、フレーム間で主題の一貫性を保ちながら、整合性のある物語を描く画像シーケンスを生成することを目的とします。既存の手法は一貫性のある表現力豊かなストーリーを生成することには優れているものの、感情にはほとんど中立で、物語に現れる主題が何であるかに焦点を当てる一方で、感情が物語の解釈と視覚表現をどのように形作るかを見落としています。物語は聴衆を感情的に引きつけることを意図しているため、私たちは感情を意識したストーリー生成を導入します。これは、主題の一貫性を保ちながら、明示的な感情指示を伴うビジュアルストーリーを生成する新しいタスクです。このタスクは、感情が抽象的であるという性質のため難題です。感情は具体的な視覚要素に根ざし、視覚的構成を通じて物語全体に一貫して表現されなければなりません。これらの課題に対処するために、感情エージェントとライターエージェントを用いた計画と、領域認識型のストーリー生成を統合した二段階のフレームワーク「EmoStory」を提案します。計画段階では、感情エージェントとライターエージェントを用いて対象の感情を整合的なストーリープロンプトへと変換します。生成段階では、領域認識型の構成を通じて主題の一貫性を保持し、感情関連の要素を注入します。私たちは、25の被験者と600件の感情ストーリーを含む新しく構築したデータセットでEmoStoryを評価します。定量的・定性的な広範な結果とユーザー調査の結果から、EmoStoryは感情の正確さ、プロンプトの整合性、および主題の一貫性の点で、最先端のストーリー生成手法を上回ることが示されています。