投機的デコーディングはなぜ速いのか？トイモデルで検証する

この記事で分かること 投機的デコーディングの仕組み なぜドラフトモデルが近いほど速いのか Python実装で受理率と高速化率を検証 はじめに LLM推論の高速化手法として投機的デコーディングが知られている。この記事では、非常に簡単な言語モデルを利用した投機的コーディングの例を通じて、実装や振る舞いについて検証した。 論文 以下で、独立に提案された。 https://arxiv.org/pdf/2211.17192 https://arxiv.org/pdf/2302.01318 前提条件 投機的デコーディングの性質を理解するために、非常に簡単な言語モデルを考えた。...