Transformer を見る、Transformer を行う：類推的推論を学習する中間ステップとしてのコピー（複製）
arXiv cs.LG / 2026/4/9
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、文字列の類推課題において、合成性のためのメタ学習（MLC）を用いて、類推的推論を行うようトランスフォーマーモデルを訓練する方法を調査する。
- 学習データに明示的なコピー課題を追加すると、トランスフォーマーが最も情報量の多い要素に注意を向けることを学び、類推が学習可能になることを見出す。
- 著者らは、より不均一なデータセットを学習に含めることで新しいアルファベットへの一般化が改善することを報告しており、3層のエンコーダ・デコーダモデルが多くの最先端モデルを上回る。
- 本研究は、変換の合成に対しては部分的な一般化が可能である一方、完全に新規な変換を扱う能力は限定的であり、モデルの計算を近似するアルゴリズムを提案する。
- 解釈可能性の分析により、モデルの挙動は提案されたアルゴリズムと整合的な形で制御された方法により誘導できることが示され、人間の類推的推論との類似点に関する洞察が得られる。
