マルチモーダル・チェーン・オブ・ソート（MCoT）モデルにおける幻覚（ハルシネーション）を理解し、軽減する

要旨: マルチモーダル Chain-of-Thought（MCoT）モデルは、複雑な視覚推論タスクにおいて目を見張る能力を示してきました。残念ながら、近年の研究では、生成過程における視覚的注意の低下により、深刻な幻覚（ハルシネーション）問題を抱えていることが明らかになっています。しかし、視覚的注意の減衰は、大規模な視覚言語モデル（LVLMs）においてよく研究されている課題です。MCoTモデルと従来のLVLMの間には推論プロセスに本質的な違いがあることを踏まえ、私たちは基本的な問いを提起します：MCoTモデルには幻覚に関する固有の原因があるのだろうか？この問いに答えるために、私たちはMCoTモデルの幻覚パターンを体系的に調査し、でっち上げられたテキストが主に、私たちが発散的思考（divergent thinking）と呼ぶ連想的推論ステップで生成されることを見出します。これらの洞察を活用して、発散的思考ステップを効果的に局在化し、デコーディング過程に介入することで幻覚を緩和できる、シンプルでありながら有効な戦略を提案します。大規模な実験により、私たちの手法が既存の手法を大幅に上回ることが示されています。さらに重要なのは、提案手法は他の幻覚緩和手法と便利に統合でき、それらの性能をさらに向上させられることです。コードは https://github.com/ASGO-MM/MCoT-hallucination で公開されています。