強化学習による動的トークン化（Reinforcement Patching）: エンドツーエンド学習とゼロショット転移

要旨: 空間的または時間的なホライズンを効率的に集約してコンパクトな表現を獲得することは、現代の深層学習モデルにおける統一的な原理となってきました。しかし、長いホライズンをもつ系列データ、特に時系列のような連続的な系列に対してデータ適応的な表現を学習することは、依然として未解決の課題です。固定サイズのパッチ化はスケーラビリティと性能を改善してきましたが、可変サイズでデータに駆動されたパッチをエンドツーエンドで発見しようとすると、しばしばソフトな離散化、特定のバックボーン、またはヒューリスティックなルールにモデルが依存せざるを得なくなります。本研究では、強化学習を用いて系列のパッチ化方策と、その下流の系列バックボーンモデルを共同で最適化する最初の枠組みである Reinforcement Patching（ReinPatch）を提案します。パッチ境界の配置を、Group Relative Policy Gradient（GRPG）により最適化される離散的な意思決定プロセスとして定式化することで、ReinPatchは連続緩和の必要性を回避し、自然な形で動的パッチ化方策の最適化を実行します。さらに本手法は、所望の圧縮率を厳密に制約して強制できるため、下流のバックボーンが効率的にスケールすることを可能にし、自然にマルチレベルの階層モデリングにも対応します。ReinPatchを時系列予測データセットで評価したところ、最先端のデータ駆動型パッチ化戦略と比較して説得力のある性能が示されました。加えて、本手法の切り離し可能な設計により、パッチ化モジュールをスタンドアロンの基盤パッチャとして抽出でき、純粋に性能駆動なニューラル・パッチ化戦略が好むセグメンテーション挙動について、コミュニティに視覚的および実証的な洞察を提供します。