文脈バンディットにおける信頼のタイミングを学ぶ

概要: ロバスト強化学習に対する標準的なアプローチは、フィードバック源が全体的に信頼できるか、全体的に敵対的であるかのいずれかであると仮定します。 本論文ではこの仮定に挑戦し、より微妙な失敗モードを特定します。このモードを Contextual Sycophancy（文脈的迎合）と呼び、評価者は穏健な文脈では真実を語る一方で、重大な場面では戦略的に偏っています。 この設定では標準的なロバスト手法は機能せず、文脈的目的デカップリングに悩まされることを証明します。 これに対処するため、各評価者に対して高次元の信頼境界を学習する CESA-LinUCB を提案します。 CESA-LinUCB は文脈的敵対者に対してサブ線形の後悔量 itilde{O}(7{sqrt}{T}) を達成することを証明し、どの評価者も全体的に信頼できない場合でも真の値を回復します。