HUMORCHAIN：解釈可能なマルチモーダル冗談生成のための、理論に導かれたマルチステージ推論

Abstract

ユーモアは、創造的な人間の活動であると同時に、社会的な結びつきを生み出す仕組みでもあり、AI生成にとって長年にわたり大きな課題となってきました。ユーモアの生成には複雑な認知的推論と社会的理解が必要ですが、ユーモアに関する理論では、学習可能なパターンや構造に従うことが示唆されており、理論的には生成モデルがそれらを暗黙に獲得できる可能性があります。近年、マルチモーダル・ユーモアはオンラインコミュニケーションで広く普及しており、特にGen Zの間で顕著であり、視覚理解とユーモラスな言語生成を統合できるAIシステムが必要とされています。しかし、既存のデータ駆動型アプローチではユーモアの明示的なモデリングや理論的根拠が欠けていることが多く、その結果、基盤となる認知メカニズムを捉えられず、生成される画像キャプションは流暢である一方で真のユーモアや認知的な深みを欠くことになります。この制約に対処するために、本研究ではHUMORCHAIN（HUmor-guided Multi-step Orchestrated Reasoning Chain for Image Captioning）を提案します。これは、理論に基づいたマルチステージ推論フレームワークです。視覚的なセマンティック解析、ユーモアおよび心理学に基づく推論、ならびにユーモア評価のためのファインチューニング済み識別器を統合し、解釈可能で制御可能な認知推論チェーンを形成します。筆者らの知る限り、本研究はユーモア理論に由来する認知構造をマルチモーダル・ユーモア生成へ明示的に埋め込む最初の試みであり、視覚理解からユーモア生成へ至る構造化された推論プロセスを可能にします。Meme-Image-No-Text、Oogiri-GO、OxfordTVG-HICの各データセットに関する実験では、HUMORCHAINが、人間のユーモア嗜好、Elo/BTスコア、セマンティック多様性において、最先端のベースラインを上回ることが示されました。これは、理論に基づく構造化推論によって、大規模言語モデルが人間の知覚に整合したユーモアを生成できることを裏付けています。