新たな「国産LLM」公開、国立情報学研究所　「gpt-oss-20b」超えの日本語性能うたう

　国立情報学研究所（NII）は4月3日、LLM「LLM-jp-4 8Bモデル」「LLM-jp-4 32B-A3Bモデル」をオープンソースライセンスで公開した。米OpenAIのオープンモデル「gpt-oss-20b」を上回る日本語性能をうたう。両モデルの学習に利用したデータセットも公開している。

　LLM-jp-4 8Bモデルは約86億パラメータ、LLM-jp-4 32B-A3Bモデルは約320億パラメータを持つ。LLM-jp-4 32B-A3Bモデルでは、複数のサブモデルを組み合わせ、タスクに応じた領域のみを稼働して計算効率を高める「Mixture of Experts」（MoE）を採用した。

　LLM-jp-4 8Bは米Metaのオープンモデル「Llama 2」をベースに、LLM-jp-4 32B-A3Bモデルは中国Alibabaのオープンモデル「Qwen3」をベースに開発した。事前学習には、Web上の公開データや政府・国会の文書などで構成されるデータセットを利用。約19.5兆トークンのうち約10.5兆トークンを事前学習に使用し、別途中間学習と追加学習も実施した。

　日本語の処理性能を測るベンチマーク「日本語MT-Bench」では、gpt-oss-20bに加え、OpenAIのAIモデル「GPT-4o」や、AlibabaのAIモデル「Qwen3-8B」のスコアを上回ったという。英語の性能についても、これら海外企業のAIモデルと同等以上とアピールしている。

　NIIは今後、より大規模なパラメータを持つAIモデルの開発と並行し、軽量なAIモデルの開発も進める。これらのAIモデルは2026年度中に順次公開する予定だ。

　LLM-jp-4 8BモデルとLLM-jp-4 32B-A3Bモデルの開発は、NIIの大規模言語モデル研究開発センターが主催するLLM研究開発コミュニティー「LLM-jp」の活動の一環として実施した。