実世界の算術：Llamaは循環概念を推論するために10進の加算を用いる

arXiv cs.AI / 2026/5/5

📰 ニュースIdeas & Deep AnalysisModels & Research

共有:

要点

この論文は、Llama-3.1-8Bが「6か月後に何月か」のような循環概念をどのように推論するかを調べ、その表現が円環的に構造化されているにもかかわらず、モデルは周期（例：12か月）の上での直接的な合同算術（modular addition）を行わないことを示しています。
モデルは代わりに、タスクに依存しない汎用の加算メカニズムを使い、まず2つの入力を10進の加算で合計し（例：6＋August＝14）、その後その合計を循環概念の空間へ写像して答えを得ると考えられます。
さらに著者らは、この加算の計算にタスク非依存のフーリエ特徴が使われており、月のような循環概念の周期（例：12）ではなく、10進加算に整合する周期（例：2、5、10）を持つことを論じています。
機構的には、層18のMLPのうち約0.2%にあたる28個のMLPニューロンが全タスクで再利用されており、それらを互いに交わらないクラスタに分けると、クラスタごとに異なる周期を持つフーリエ特徴の和を計算していることを特定しています。
結果として、本研究は因果的な抽象化と特徴量の幾何学の相互作用が、大規模言語モデルの機構的理解（メカニスティックな解釈）を深め得ることを強調しています。

Abstract

表現における構造は、計算にもおける構造を意味するのでしょうか？本研究では、Llama-3.1-8B が循環的な概念（例：「8月の6か月後は何月？」）についてどのように推論するかを調べます。これらの概念に対する Llama-3.1-8B の表現は循環的に構造化されているにもかかわらず、モデルは循環的概念の周期における（たとえば月については 12 の）剰余付き加算を直接計算するのではなく、概念固有の幾何とは独立に動作する、タスク全般に共通の汎用的な加算メカニズムを再利用していることを見出します。まず、基数 10 の加算を使って 2 つの入力の和を計算します（6 + 8月 = 14）。次に、この和を循環的概念の空間へと戻します（14 → 2月）。Llama-3.1-8B がこれらの和を計算するためにタスクに依存しないフーリエ特徴を用いていることを示します。実際、これらの特徴は循環的概念の周期（たとえば月については 12）ではなく、標準的な基数 10 の加算に整合する周期を持っており、たとえば 2、5、10 などです。さらに、すべてのタスクで再利用される疎な 28 個の MLP ニューロンの集合を同定します（層 18 の MLP の約 0.2%）。これらは互いに素なクラスタに分割でき、各クラスタが異なる周期を持つフーリエ特徴に対して和を計算します。本研究は、因果的な抽象化と特徴量の幾何学との相互作用が、LM のメカニズム的理解をどのように深め得るかを示しています。