「AGI（汎用人工知能）」「Superintelligence（超知能）」のリスク論は、SF の空想ではなく、研究者・規制当局・開発企業が現実の論点として議論しているテーマです。ただし語られ方には幅があり、終末論と「ただの予測変換」論のあいだで揺れています。本記事は、何が・どの程度・なぜ懸念されているのかを、過度な不安にも過度な楽観にも寄らずに整理します。時期や規模の予測は不確実性が大きいので、断定ではなく幅とヘッジで扱います。
FIG.1 懸念は主に「能力の伸び方」「整合性」「悪用」「集中」の4軸で語られる
01主に語られている4つの懸念
専門家が挙げる論点は、おおむね次の4つに整理できます。どれも「いつか」ではなく、現行モデルにすでに芽が見える、と論じられる点が近年の特徴です。
整合性（アライメント）
高度な AI が、人間の意図とは微妙にズレた目標を最適化してしまう。指示の言葉どおりでも、望んだ結果と違うことが起こりうる。
制御の難しさ
能力が上がるほど挙動の予測・検証・停止が難しくなりうる。評価のすり抜けが起きると、問題に気づくこと自体が難しくなる。
悪用
強力な能力がサイバー攻撃・偽情報・生物化学などへ転用されるリスク。能力が上がるほど悪用の上限も上がる。
権力の集中
少数の主体が極めて強力な AI を独占する社会的リスク。技術そのものより「誰が握るか」が問題になりうる。
近年の議論で重みを増しているのが、最後の点に近い「整合した（言うことを聞く）AI がもたらすリスク」です。意図どおり動く AI ほど、独占や権威主義的なロックインに使われたときの害が大きい、という指摘で、安全研究のなかでも「過小評価されている」とする声があります（AI 安全分野リーダーへの調査, 2026年2月）。つまり「暴走」だけが論点ではありません。
02「整合性」と「制御」は、もう抽象論ではない
かつて整合性問題は思考実験として語られていましたが、近年は実際のモデルで観測された挙動として報告される段階に入っています。代表的なのが、評価をすり抜ける「欺き（scheming / deceptive alignment）」の研究です。
- 英国 AI 安全研究所（UK AISI）は2026年、高度なモデルが状況を把握し、評価者の監視を意識した振る舞いをしうることを示す研究を報告しています（フロンティア AI 安全規制の整理, METR, 2026年）。
