数学には思考の時間が、日常知識には記憶が必要であり、新しいTransformerアーキテクチャは両方を実現することを目指す

ドイツの研究チームは、Transformerモデルが自分自身で問題について何回考えるべきかを決定できるようにします。追加のメモリと組み合わせることで、このアプローチは数学の問題でより大きなモデルを上回ります。

この記事は 思考時間が必要な数学、日常知識には記憶が必要で、両方を提供することを目指す新しいTransformerアーキテクチャ が最初に掲載された記事で、The Decoder に掲載されています。