LLM-jp FT-LLMコンペに直球ど真ん中ストレートを投げ込んだ(つもりの)話

Zenn / 2026/3/26

💬 オピニオンIdeas & Deep AnalysisModels & Research

要点

  • 「LLM-jp FT-LLMコンペ」に直球で投入する(つもりの)開発・試行錯誤の姿勢が中心で、勝ち筋を狙いに行く考え方が語られています
  • どのような方向性でファインチューニングやLLM活用を進めるか、コンペ用の実装・方針に関する示唆が含まれます
  • 競技形式(評価軸)に対して、ストレートな設計判断で成果を取りにいくプロセスが読み取れる内容です
  • 技術ブログとして、実験の前提・狙い・結果(や反省)に接続するスタイルが特徴です
松尾研究所の尾崎です.25卒でデータサイエンティストをやっています. 本記事では,LLM-jp FT-LLMコンペティションにおける我々チームの取り組みをご紹介します.NLP2026で発表した論文「LLM-jp FT-LLMコンペにおける数学推論能力向上の取り組み」(尾崎・力岡・渡部・Jeong)の内容をベースに,ブログ向けに再構成しています. このコンペは,LLM-jpが主催するファインチューニングの公開コンペティションで,llm-jp-4-8b(2026/03/23現在未公開)をベースモデルとして,中学校・高等学校レベルの数学問題500問の正答率を競うというものです.推論時にはllm...

この記事の続きは原文サイトでお読みいただけます。

原文を読む →