Cornserve: 任意対任意のマルチモーダルモデル向けの分散サービングシステム

要旨: Any-to-Anyモデルは、入力としてテキスト、画像、動画、音声などのマルチモーダルデータの組み合わせを受け取り、それらを出力として生成する新興のマルチモーダルモデルの一種です。これらのモデルを提供することは難しく、入力モダリティと出力モダリティが異なるさまざまなリクエストは、モデル計算グラフを通って異なる経路を辿り、それぞれのコンポーネントは異なるスケーリング特性を持っています。われわれは、汎用のAny-to-Anyモデル向けの分散サービングシステムであるCornserveを紹介します。Cornserveは、Any-to-Anyモデルの計算グラフを表現するための柔軟なタスク抽象化を提供し、コンポーネントのディスアグリゲーションと独立したスケーリングを可能にします。分散ランタイムは、データ依存関係を追跡する効率的なレコード・アンド・リプレイ実行モデルを介してデータプレーンに計算をディスパッチし、テンソルデータを生成元から消費者へ直接コンポーネント間で転送します。Kubernetes上に構築され、約23,000行のPythonコードを用いて構築されており、CornserveはさまざまなAny-to-Anyモデルをサポートし、最大で3.81倍のスループット向上と5.79倍のテールレイテンシ低下を実現します。Cornserveはオープンソースで、デモ動画はYouTubeで公開されています。