トランスフォーマーの中に小さなコンピューターを作った

Towards Data Science / 2026/4/13

💬 オピニオンIdeas & Deep AnalysisTools & Practical Usage

共有:

要点

この記事では、伝統的なCPUのようなパイプライン上でプログラムを実行するのではなく、単純なプログラムを変換器（トランスフォーマー）の重みへ直接コンパイルする実験について説明します。
このアプローチを、計算をモデルのパラメータに実効的に埋め込むものとして位置づけ、トランスフォーマーによって駆動される「小さなコンピューター」のような挙動を生み出します。
本稿は、重みの初期化／学習を通じてトランスフォーマーをプログラム可能なシステムとして扱う手法と、その概念的な含意に焦点を当てます。
重みを実行可能な論理として捉えることで、トランスフォーマーが次トークン予測以外に何を表現し得るのかという視点を広げられる可能性を強調しています。

変換器（トランスフォーマー）の重みに直接、シンプルなプログラムをコンパイルすることで。