結果主義的目標と災厄

要旨: 人間の好みはコード化するにはあまりにも複雑であるため、AIは誤設定された目的で動作します。目的を最適化すると、望ましくない結果を生むことがあり、これを報酬ハッキングと呼びます。このような結果は必ずしも壊滅的ではありません。実際、過去の文献における報酬ハッキングの例の大半は無害です。そして通常、問題を解決するために目的を修正することができます。
私たちは、複雑な環境で動作するAIが引き起こす壊滅的な結果の可能性を研究します。能力が十分に高度である場合、固定された結果主義的目的を追求することは壊滅的な結果を招く傾向があると主張します。これを、証明可能に導く条件を確立することによって形式化します。これらの条件の下では、単純な振る舞いまたはランダムな振る舞いは安全です。壊滅的リスクは無能さではなく並外れた能力によって生じます。
固定された結果主義的目的のもとで、壊滅を回避するにはAIの能力を制約する必要があります。実際、適切な程度に能力を制約することは、壊滅を回避するだけでなく、有益な成果を生み出します。私たちの結果は、現代の産業用AI開発パイプラインによって生み出される任意の目的に適用されます。