SOAR：ロボット移動型フルフィルメントシステムにおける受注配分とロボットスケジューリングのリアルタイム協調最適化

arXiv cs.RO / 2026/5/6

💬 オピニオンDeveloper Stack & InfrastructureModels & Research

共有:

要点

本論文は、ロボット移動型フルフィルメントシステム（RMFS）において受注配分とロボットスケジューリングをリアルタイム制約の下で同時に最適化する統合型深層強化学習手法「SOAR」を提案する。
SOARは、イベント駆動型マルコフ決定過程として問題を定式化し、ソフトな受注配分を観測として用いることで、非同期のシステムイベントに応じてスケジューリングを単一エージェントで適応させる。
ヘテロジニアス・グラフ・トランスフォーマーで倉庫状態を符号化し、段階的なドメイン知識を統合することで、複数フェーズ決定間の強い結合に対処することを狙う。
長期ホライゾンでの報酬が疎になりがちな課題に対し報酬シェーピングを取り入れ、合成および実世界の産業データで、全体のメイクスパンを7.5%削減し、平均の注文完了時間を15.4%短縮しつつ、サブ100msの低遅延を達成したと報告する。
Geekplusとの協力により、シムツーレアルの結果から実運用可能性と生産環境での大きな性能向上を示し、再現性のためのコードも公開している。

Abstract

ロボティック・モバイル・フルフィルメント・システム（RMFS）は、自動化された在庫輸送のためのモバイルロボットに依存し、受注配分とロボットのスケジューリングを調整して倉庫効率を高めます。しかし、RMFSの最適化は、厳格なリアルタイム制約と、多段階の意思決定の強い結合性により困難です。既存の手法は、応答性を保証する代わりに問題を孤立したサブタスクへ分解して扱うか、あるいは動的な産業環境には不向きな計算コストの高い大域最適化モデルに依存しています。このギャップを埋めるために、リアルタイムの同時最適化のための統一型深層強化学習フレームワークであるSOARを提案します。SOARは、観測としてソフトな受注配分を用いることで、受注配分とロボットのスケジューリングを統一されたプロセスに変換します。これをイベント駆動型マルコフ決定過程として定式化し、エージェントが非同期のシステムイベントに応答して同時にスケジューリングを行えるようにします。技術的には、倉庫状態をエンコードするためにヘテロジニアス・グラフ・トランスフォーマーを用い、さらに段階的な領域知識を統合します。加えて、長いホライゾンのタスクにおける疎なフィードバックに対処するための報酬形成戦略も取り入れます。Geekplusとの共同研究として、合成および実世界の産業データセット上で大規模な実験を行った結果、SOARは大域的なメイクスパンを7.5

%削減し、平均の受注完了時間を15.4

%短縮しつつ、サブ100msのレイテンシを達成することが示されました。さらに、sim-to-realの導入により、その実用的な実行可能性と、生産環境における有意な性能向上が確認されました。コードは https://github.com/200815147/SOAR で公開されています。