適応的報酬が害になるとき：LLMによるLEO衛星スケジューリングにおける因果プロービングと切り替え安定性のジレンマ

要旨: 多ビームのLEO衛星スケジューリングにおける深層強化学習（DRL）のための適応的報酬設計は、「状況（レジーム）に応じた報酬重みが、固定的な重みを上回るはずだ」という直観によって動機づけられる。私たちはこの直観を体系的に検証し、スイッチングに関する安定性のジレンマを明らかにする。ほぼ一定の報酬重み（342.1 Mbps）は、入念に調整された動的重み（103.3+/-96.8 Mbps）よりも優れている。理由は、PPOが価値関数の収束のために準定常的な報酬信号を必要とするためである。重みの適応は、たとえ品質が良い場合でも、収束を繰り返し再起動させることで性能を低下させる。なぜ特定の重みが重要なのかを理解するために、各報酬項をそれぞれ独立に±20%だけ摂動させ、50kステップ後のPPO応答を測定する単一変数の因果的プロービング手法を導入する。プロービングは直感に反するレバレッジを明らかにする。すなわち、スイッチングペナルティを+20%増加させると、極手渡し（polar handover）で+157 Mbps、ホット-コールド（hot-cold）レジームで+130 Mbpsの向上が得られる。これらの知見は、人間の専門家や訓練済みMLPでは、体系的なプロービングなしには得られない。既知および新規のトラフィックレジームにわたり、4種類のMDPアーキテクチャ設計バリアント（固定、ルールベース、学習済みMLP、微調整済みLLM）を評価する。MLPは既知レジームで357.9 Mbps、新規レジームで325.2 Mbpsを達成する。一方、微調整済みLLMは、ドメイン知識の欠如ではなく、重みの振動によって45.3+/-43.0 Mbpsにまで崩壊する。拘束条件は「知識」ではなく出力の一貫性である。私たちの結果は、通信システムにおけるLLM-DRL統合のための、経験に基づくロードマップを提供し、LLMが不可欠な価値を付加する領域（自然言語の意図理解）と、より単純な方法で十分な領域を特定する。