専門家ネットワークを宇宙で：アーキテクチャとエキスパート配置

要旨: 高効率な連続的な太陽エネルギーの収集を活用することで、宇宙データセンターは、エネルギー集約型の大規模言語モデル（LLM）を実行するための有望なプラットフォームとして構想されています。この利点を踏まえ、宇宙およびAIのコングロマリット（例：SpaceX、Google）は、このビジョンに積極的に投資しています。しかし重要な課題の1つは、搭載される計算および通信リソースが限られているため、衛星ネットワークにおいて大規模LLMを効率的に分散配置してデプロイすることです。これにより、モデルの構成要素を衛星へ分割・対応付けすることで、根本的に異なるモデルのアーキテクチャとネットワークトポロジを調整し、低遅延のトークン生成を実現する配置問題が生じます。この問題に対処するために、本論文では、宇宙における人気の混合専門家（MoE）モデルの分散実行を対象とした、Space Network of Experts（Space-XNet）フレームワークを提案します。提案する配置戦略は二段階です：（1）レイヤ配置。MoEのレイヤを衛星のサブネットに割り当てる。（2）レイヤ内部における専門家（エキスパート）の配置。同一のレイヤ／サブネットに関連付けられた衛星へ、個々の専門家を割り当てる。レイヤ配置では、自己回帰推論におけるリング状の通信パターンを活用し、周回方向に沿って衛星コンステレーションをリング状に配列されたサブネットへ分割し、各サブネットに1つのMoEレイヤを配置します。このアーキテクチャに基づき、活性化確率が異なる専門家を衛星へ対応付けるための、レイヤ内部の専門家配置に関する最適化問題を定式化し、解きます。導出された戦略は、直感的な原則を明らかにします。頻繁に活性化される専門家は、期待遅延が低いルーティング経路上の衛星に割り当てるべきである、という原則です。1,000機を超える衛星からなるコンステレーションでの実験により、Space-XNetは従来のランダム配置およびアブレーションに基づく配置戦略と比べて、少なくとも3倍の遅延削減を達成することが示されます。