SocialOmni: オムニモーダルモデルにおける音声・映像の社会的相互作用をベンチマークする

要旨: オムニモーダル大規模言語モデル（OLMs）は、音声、視覚、テキストをネイティブに統合することにより、人間と機械の相互作用を再定義します。しかし、既存のOLMベンチマークは静的で精度中心のタスクに留まり、自然な対話における動的な手掛かりを理解する基本能力である社会的相互作用の評価における重要なギャップを放置しています。これを目的として、会話的相互作用の評価を三つの核次元に沿って運用する総合ベンチマークSocialOmniを提案します：(i) 発話者の分離と同定（誰が話しているか）、(ii) 中断タイミングの制御（いつ介入するか）、(iii) 自然な中断生成（中断をどのように表現するか）。SocialOmniは、知覚サンプル2,000件と、厳密な時間的・文脈的制約を伴う209件の対話生成インスタンスからなる品質管理型診断セットを特徴とし、モデルの堅牢性を検証するための統制された音声・映像の不整合シナリオを補完します。私たちは12の主要OLMをベンチマークし、それらの社会的相互作用能力にモデル間で顕著なばらつきがあることを明らかにしました。さらに、分析は、モデルの知覚精度と文脈に適した中断を生成する能力の間に顕著な乖離があることを示しており、理解中心の指標だけでは会話の社会的適性を十分に特徴づけることはできないことを示しています。より励みになることに、SocialOmniからのこれらの診断は、将来のOLMにおける知覚と対話の分断を埋めるための具体的な指針を提供します。