ライブLTL進捗トラッキング：タスクベース探索に向けて

概要: 強化学習（RL）における非マルコフ的目的がもたらす課題に動機づけられ、複雑で多段階のタスクを通じて自律エージェントの進捗を追跡し、表現するための新しい枠組みを提案します。有限の線形時相論理（LTL）における仕様が与えられると、この枠組みは「トラッキング・ベクトル」を構築し、軌跡ロールアウトの各時間ステップで更新します。このベクトルの値は、軌跡が発展していくにつれて仕様の状態を表し、真・偽・および「未確定（open）」のラベルを割り当てます（ここで「未確定」は判定不能な場合に用いられます）。このトラッキング・ベクトルをLTL数式ツリーに適用すれば、軌跡に沿ってタスクがどのように実行されるかに関する詳細な情報を符号化するために利用でき、新しい性能指標のための潜在的な手段、多様な探索、および報酬形成（reward shaping）を可能にするツールとなります。本論文では、この枠組みとアルゴリズムを、総称してLive LTL Progress Trackingとして、形式的に提示し、簡単な動作例を示し、さらにRLモデルへの統合のための道筋を示します。今後の研究では、この枠組みを、タスク空間での探索や、RLにおける多様な解の発見といった問題に適用します。