ルーツをたどる：ポストトレーニングLLMにおけるデータ系譜（データ・リネージ）を解明するためのマルチエージェント・フレームワーク

Abstract

ポストトレーニングのデータは、大規模言語モデル（LLM）の能力を形成するうえで極めて重要な役割を果たしますが、データセットはしばしば孤立した成果物として扱われ、その進化を支える基盤的な関連性が見過ごされがちです。こうした複雑な関係を解きほぐすために、私たちはLLMエコシステムにおける extbf{データ系譜（data lineage）} の概念を導入し、データセット開発の進化グラフを再構築するための自動化されたマルチエージェント・フレームワークを提案します。大規模な系譜解析を通じて、数学志向のデータセットにおける垂直的な洗練や、一般領域のコーパスにおける水平的な集約といった、領域固有の構造パターンを特徴づけます。さらに、暗黙的なデータセット交差によって生じる extit{構造的冗長性（structural redundancy）} や、系譜パスに沿って伝播する extit{ベンチマーク汚染の伝播（propagation of benchmark contamination）} といった、広範に見られる体系的な問題を明らかにします。データ構築における系譜解析の実用的価値を示すために、再構築した系譜グラフを用いて extit{系譜を考慮した、多様性指向のデータセット（lineage-aware diversity-oriented dataset）} を作成します。上流のルートとなるソースを起点として指示（instruction）のサンプリングを行うことで、このアプローチは下流における同質化や、見えにくい冗長性を抑制し、より多様なポストトレーニング用コーパスを実現します。さらに、系譜中心の分析を、大規模なデータ・エコシステムにおけるサンプルレベルのデータセット比較に代わる、効率的かつ頑健な位相（トポロジー）的代替手法として位置づけます。データ構築を明示的な系譜構造に基づけることで、本研究はポストトレーニング・データのキュレーションを、より体系的で制御可能なパラダイムへと前進させます。