UNIFERENCE：分散AIモデル開発のための離散イベントシミュレーション・フレームワーク

要旨: 異種なデバイスやネットワークをモデル化するための標準化されたツールが不足しているため、分散推論アルゴリズムの開発と評価は依然として困難です。既存の研究では、多くの場合、場当たり的なテストベッドや独自のインフラに依存しており、その結果は再現しにくく、仮想的なハードウェアやネットワーク構成の探索も制限されます。私たちは、統一された環境の中で分散AIモデルを開発、ベンチマーク、デプロイするための離散イベントシミュレーション（DES）フレームワークであるUNIFERENCEを提示します。UNIFERENCEは、通信プリミティブでのみ同期する軽量な論理プロセスによってデバイスとネットワークの挙動をモデル化し、ロールバックを排除しつつ因果順序を維持します。さらに、PyTorch Distributedとシームレスに統合されており、同一のコードベースをシミュレーションから実環境へのデプロイへ移行できます。評価の結果、UNIFERENCEは、多様なバックエンドやハードウェア構成にわたる実際の物理デプロイと比較して、最大98.6%の精度で実行時のプロファイルを行えることを示しました。シミュレーションとデプロイを橋渡しすることで、UNIFERENCEは、高性能クラスターからエッジ規模のデバイスまで、分散推論アルゴリズムの研究や将来のシステム設計の探索を行うための、利用しやすく再現可能なプラットフォームを提供します。このフレームワークは https://github.com/Dogacel/Uniference でオープンソース化されています。