あらゆる画像をプレイ可能なゲームに変える深層ニューラルネットワーク：消費者向けGPUのみで動作（データセンター不要）

みなさんこんにちは！！私は今取り組んでいる研究をぜひ共有したくて。

ゲームをシミュレートできる nn を作りたかったのです、少なくともそれを始めたいと思っていました。

ほとんどの動画生成モデルは大きすぎて、リアルタイムでコンシューマー向けのハードウェア上で動かせません。そこで、私は最初からそれを実現するモデルを設計しました。微調整のごちゃごちゃしたやつとかは一切なしです。

中核となる de-noiser ネットワークは、この目的をサポートするために、最初から最終まで完全にトレーニングされています。画像からゲームデータへ。

上の動画は RTX 5090 上で動かしたものです。

その nn は小型の Transformer に似たモデルで、LLM と同じように因果的に動作します。

それにより、これまでのすべての情報を KV キャッシュし、生成したい新しい各フレームごとに簡単な自己回帰デコードのフォワードパスを行えます。

共有した動画では、モデルは 0.4B のバリアントで、動きがうまくないことや、妙なフラッシュが出るなど、いくつかの重大な問題があります。さらに文脈の問題もあります。

それは、私がリアルタイムで与えるキーボード操作を取り込み、その入力をフォワードパスで活用しています。（ただし classifier free guidance はありません）

次の反復をトレーニング中です。現在は 0.8B モデルです。

ちなみに、まだ量子化はしていません。量子化すれば、さらにかなり時間を節約できるはずです。bf16 は遅いので。