Intern-S1-Pro：兆規模での科学マルチモーダル基盤モデル

Abstract

私たちは、最初の1兆パラメータ規模の科学マルチモーダル基盤モデルであるIntern-S1-Proを紹介します。これまでにない規模へとスケーリングすることで、一般領域と科学領域の両方にわたって包括的な性能向上を実現しています。強化された推論力や画像-テキスト理解能力に加えて、その知能は高度なエージェント能力によって拡張されています。同時に、科学の専門性も大幅に拡張され、化学、材料・物質科学、生命科学、地球科学といった重要な科学分野を含む100以上の専門タスクを習得するに至りました。この巨大なスケールを可能にしているのは、XTunerとLMDeployによる堅牢なインフラ支援であり、トレーニングと推論の間で厳密な精度一貫性を確保しつつ、1兆パラメータ規模で非常に効率的な強化学習（RL）トレーニングを可能にします。これらの進歩をシームレスに統合することで、Intern-S1-Proは一般的な知能と専門的な知能の融合をさらに強固にし、「Specializable Generalist（専門化可能なゼネラリスト）」として機能します。一般能力におけるオープンソース・モデルの上位層に位置することを示すとともに、専門性の高い科学タスクにおいてはプロプライエタリ（専有）モデルをその深さで上回ります。