LLM の推論が DRAM に詰まっている話と Cerebras × AWS がやろうとしていること

はじめに LLM の出力速度を改善したくて、以前ストリーミングの挙動を調べていたことがあります。その過程で「そもそもなぜ LLM の推論はボトルネックが生まれやすいのか」が気になり始めました。 最近、Cerebras という会社が AWS Bedrock に統合されるとい...