Valley3：eコマース向けオムニ・ファウンデーションモデルのスケーリング

要旨: 本研究では、テキスト・画像・動画・音声にわたる統一的な理解および推論能力を備えた、多様なグローバルEC（電子商取引）タスク向けのオムニ・マルチモーダル大規模言語モデル（MLLM）であるValley3を提案する。Valley3の重要な特徴は、EC向けのネイティブ多言語音声対応であり、視覚言語モデルを拡張することで重要な音声-視覚タスク、特に短尺動画シナリオによりよく対応できるように開発された点にある。このために我々は、4段階のオムニEC継続事前学習パイプラインを慎重に設計し、その中でValley3が段階的に、音声理解、クロスモーダルな指示追従、ECドメイン知識、および長文コンテキスト推論能力を獲得するようにする。これにより、最終的に多様なECシナリオのためのオムニモデルへと発展する。さらに我々は、ポストトレーニングによってValley3を改善し、制御可能な推論モードによる長い推論（ロングチェーン推論）を促す。これにより、推論を行わないモード1つと、異なる3段階の思考レベルを用意し、単純なシナリオでは推論効率を両立しつつ、複雑な応用では深い推論が可能となるようにする。加えて、ECのディープリサーチタスクのために、検索ツールを能動的に呼び出し、タスクに関連する情報を獲得できるエージェント型検索能力をValley3に備える。Valley3の能力を包括的に評価するために、6つのタスクからなるオムニECベンチマークを構築する。実験結果は、Valley3が、社内およびオープンソースのECベンチマークにおいて一貫して強力なベースラインを上回る一方で、一般ドメインのベンチマークでも競争力を維持していることを示している。