普遍的な計算機としてトランスフォーマーを学習させる
arXiv cs.AI / 2026/4/29
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- この論文は、小規模なトランスフォーマーが計算的にユニバーサルなプログラミング言語であるMicroPy上のプログラムを実行することを学習できることを示しています。
- 手続きの定義と評価対象の式を与えると、PENCILスキャフォールディングを用いて、限られたコンテキストウィンドウ内で空間効率よく小ステップの実行を予測します。
- 意味のない無作為に生成されたMicroPyプログラムで学習した後、ビット操作、2進の加算・乗算、SATの検証や解法といった複数の人手によるプログラム課題へ汎化することが示されます。
- トレーニングセット外のプログラムに対しても汎化できる、すなわち同一のプログラム分布から得られた未知のプログラムを評価できることが報告されています。
- 全体として、MicroPyで表現できる計算について、標準的なトランスフォーマーが「普遍的な計算機」として機能するよう学習できることの実証的な証拠を提供しています。
