CTNetの発表スライドをちょっと前に公開したので、ここで真剣なフィードバックをもらうために共有したいと思いました。
CTNetは、計算を表現の単なる逐次的な書き換えとして組み立てるのではなく、永続的な状態により統治される遷移として編成するアーキテクチャを提案します。そのダイナミクスの中に、再入可能なメモリ、計算レジーム、許容可能性（admissibility）、マルチスケール一貫性、ローカルな書簡（手紙）、そして射影的な出力が含まれます。
中核となる直感はこれです：
出力はプロセスを使い尽くさない。より豊かな計算的な背景（フレーム）からの射影として立ち上がってくるのです。
現在、アーキテクチャ、その形式化、そして標準的なトイモデルを紹介しています。この投稿の目的は閉じたシステムを売り込むことではなく、現実の野心を持つアーキテクチャ提案を提示し、そして、アーキテクチャ、計算理論、DL、メモリ、ルーティング、推論、順序、システムについて考える人たちとの会話を開くことです。
LinkedInの投稿はこちらに置いてあります：
Publicación Linkdln
特に、このアイデアに真剣に切り込める人からのフィードバックに関心があります：
— アーキテクチャの一貫性
— 計算上の含意
— トランスフォーマー、SSM、MoE、メモリ、再帰モデルとの関係
— 理論的または実用上の限界
— 発展のための可能な方向性
安っぽい拍手は求めていません。強い批判と有能な人たちを求めています。
[link] [comments]
