要旨: 現在のAIシステムは、単純化しすぎた神経科学に基づいているため、真実と虚偽の区別を損なう危険があります。これらは、情報が有効であるか、あるいは注意を向ける価値があるかを評価するための本質的な精度(precision)の仕組みを伴わずに、情報への注意を増幅することで報酬を最大化します。その結果、システムが注意を向ける内容(それが真であれ、偽であれ、無関係であれ)に含まれる情報量が増えるだけでなく、注意を向ける対象に内在するバイアスも増大します。これを是正しなければ、この傾向は加速し、偏っていて疑わしい情報によってシステムや個人が過負荷になる恐れが高まり、混乱、判断の不調、そして非合理的または有害な意思決定や行動のリスクが増します。私はこの状況を「心-現実オーバーロード(mind-reality overload)困難」と呼びます。この脅威は、覚醒した思考や高次認知の基盤となる錐体ニューロンの生物物理学的ダイナミクスに基づいて構築された、より高度なAIツールへの一般のアクセスを提供することで軽減できる可能性がある、と私は主張します。これらのニューロンは、本来の報酬を単に最大化するのではなく、局所的および大域的に整合した予測を用いて、証拠が注意を向けられる前、または階層を通じて伝播される前に、その妥当性と文脈上の適切さを評価します。その際、注意よりも先に、整合性と適切さを優先します。~このアプローチは、生物学から道徳的な規則を導出したり規定したりするものではありませんが、「より本当の理解」を備えたAIを生み出す可能性はあります。情報過負荷を減らし、信頼できる情報を増幅することで、認識論的な条件を取り戻すことに寄与し、ひいては社会全体に利益をもたらす、よりよく情報に基づいた信念の形成と、より首尾一貫した判断を支援できるかもしれません。なお、もちろん保証はありません。
細胞理論に基づく道徳:固有の能動的精度と「心—現実オーバーロード」問題
arXiv cs.AI / 2026/5/5
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- この論文は、現在のAIシステムが報酬駆動で注意を増幅する一方で、情報が妥当かどうかを判断する仕組みを欠くため、真偽の区別が曖昧になる恐れがあると警告している。
- その結果、モデルが注意を向ける対象のバイアスが増幅されるだけでなく、情報量自体も増え、混乱や判断の低下、さらには有害な意思決定につながり得ると主張している。
- 著者は「心—現実オーバーロードのディレンマ」として、偏った疑わしい情報がAIシステムと人双方を圧倒してしまうリスクを提示している。
- 対策として、パブリック向けのより高度なAIツールを、覚醒した思考や高次認知を支える錐体ニューロンの生物物理学的ダイナミクスに基づいて構築することを提案し、「固有の能動的精度」を通じて、注意される前や階層で伝播される前に、局所・全体の整合的な予測によって証拠の妥当性と文脈適合性を評価させる考えを示している。
- このアプローチは生物学から道徳ルールを導出するものではないと位置づけつつ、情報過負荷を抑え、信頼できる情報を増幅して認識論的条件を改善し、よりよい信念形成と一貫した判断を支える可能性がある一方で、保証はないとも述べている。




