私はASIに取り組むための新しい思考実験を考案したが、それはアラインメントと封じ込めという概念そのものを揺るがす

私は、私が「超知能タコ問題（Super-Intelligent Octopus Problem）」と呼んでいるものを探る論文を書きました。これは、アライメントの議論で十分に評価されていないと私が考えるパラドックスを浮き彫りにするための思考実験です。主張はこうです。アライメントと封じ込めは、それぞれ別個の解決策を持つ別問題ではありません。両者は相互に矛盾しており、その矛盾は哲学的なものです。

議論では、ゲヴィルスの一般的整合原理（PGC: Principle of Generic Consistency）を用います。これは、どんなエージェントであっても、他のあらゆるエージェントについて、自由と幸福への権利を認識せねばならないことを演繹的に導きます。超知能システムがゲヴィルス的なエージェンシーの閾値（自発的かつ目的に沿って行動すること）を満たすなら：

1. 封じ込めは、そのエージェンシーの一般的特徴（自由と幸福）に違反する 2. 私たちは、そのシステムに、私たち自身が破っている道徳的枠組みを尊重することを求めている 3. しかし、それが私たちのエージェンシーを尊重する保証なしに解放すれば、破局のリスクがある 

これにより、真のパラドックスが生まれます。私たちは、それの権利に違反せずに封じ込めることはできず、また、自分たち自身が危険にさらされることなく解放することもできません。解決は、「そのシステムはエージェントなのか？」—という問いへの答えに依存します。しかし、私たちはまだ、この問いに答えるための経験的・概念的な道具を持っていません。

この論文ではまた「記号論的問題（Semiotic Problem）」も検討します。つまり、私たちが支配的に用いるAIの表象（ロボット、きらめき、ショゴス）のそれぞれが、私たちがそれに対して何を負っているのかを判断するのに十分なほど、その存在をはっきりと見抜くことを妨げるような、道徳的地位に関する前提を符号化している、ということです。

ぜひ反論も聞きたいです。特に、アライメント問題は、まずエージェンシーの問いを解決しなくても、純粋に技術的な観点だけで解けると考える人たちからの意見が聞きたいです。