要旨: 突然変異的手法は、遺伝学、生物学、生態学、および関連分野における解析や説明において長く有用であった。本研究では、これらの手法をニューラルネットワーク、具体的には大規模言語モデル（LLM）へ拡張し、モデル間の関係をより適切に解析し説明できるようにする。重みを遺伝子型に、出力テキストを表現型に対応づけることで、モデル系統の理解、重要なデータセット、異なるモデル層の役割、そしてモデル間関係の可視化が改善されることを示す。これは制御された実験で実証する。そこで我々の推定した進化系統樹は、真の教師データ（ground-truth）の学習ツリーの位相（トポロジー）を確実に復元する。さらに、重みの差分に基づいて最も重要な重み層を特定し、表現型に基づく実験を通じて、ある1つの学習データセットが他のものよりも有用な情報をより多く提供しているらしいことを示す。最後に、ブラックボックスの基盤モデルに対する教師なしの進化系統樹を生成する。これらを通じて、LLM間の進化的関係をより明確に理解するのを支える可視化を提示する。
進化的手法によるLLMの分析と説明可能性
arXiv stat.ML / 2026/5/6
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、モデルの重みを「遺伝子型（genotype）」、生成テキストを「表現型（phenotype）」に対応づけることで、大規模言語モデル（LLM）を分析・説明するための進化的手法を提案している。
- 著者らは、この遺伝子型–表現型の対応関係により、モデルの系譜、各層の役割、そして学習データセットがモデル挙動に与える影響を明らかにできると主張している。
- 管理された実験では、推定した進化系統樹が、既知のグラウンドトゥルースの学習ツリーのトポロジーを信頼性高く復元できることを示した。
- さらに、重みの差分にもとづいて重要な重み層を特定し、表現型の実験により、ある学習データセットの方が他より有用な情報をより多く含んでいる可能性を示している。
- ブラックボックスの基盤モデルに対しても教師なしの進化系統樹を生成し、LLM同士の関係を理解しやすくする可視化を通じて結果を提示している。
