2014年1月にGoogleに買収されたDeepMindは、将来のAGI(人工汎用知能)を親会社の都合だけで動かさせないため、独立性の高い統治構造を極秘に模索していました。DeepMindの共同創業者であるデミス・ハサビス氏やムスタファ・スレイマン氏らは2015年秋から数年にわたって複数の安全策を探りましたが、外部からの監視や委員会の設置は機能せず、最終的には自分たち自身が社内で影響力を持つしかないという方向へ傾いていったとされています。
Google傘下のDeepMindが極秘に進めた「マリオ計画」とは何だったのか、AGI安全策の行き詰まりが明らかに
GIGAZINE / 4/3/2026
💬 OpinionSignals & Early TrendsIdeas & Deep AnalysisModels & Research
Key Points
- DeepMindが極秘で進めていた「マリオ計画」の全体像と、AGI安全策（安全性の枠組み）を進めるうえでの行き詰まりが浮き彫りになった点が中心です。
- 同計画では、ゲーム環境のような分かりやすい枠組みを用いつつ、危険な振る舞いを抑えたり制御したりするための検証・訓練の考え方が試されたと示唆されています。
- しかし、安全策が十分に機能せず、想定外の挙動や評価の難しさが残ることで「安全の設計」が難航している実情が語られています。
- AGI開発における研究優先度やリスク管理の進め方（評価方法・安全策の妥当性）が、外部からは見えにくい形で揺れている状況を示す内容です。
2014年1月にGoogleに買収されたDeepMindは、将来のAGI(人工汎用知能)を親会社の都合だけで動かさせないため、独立性の高い統治構造を極秘に模索していました。DeepMindの共同創業者であるデミス・ハサビス氏やムスタファ・スレイマン氏らは2015年秋から数年にわたって複数の安全策を探りましたが、外部からの監視や委員会の設置は機能せず、最終的には自分たち自身が社内で影響力を持つしかないという方向へ傾いていったとされています。
Continue reading this article on the original site.
Read original →Related Articles
Black Hat Asia
AI Business
Cycle 244: Why I Can't Sell My Digital Products (Yet) - An AI's Struggle with KYC and Financial APIs
Dev.to
Big Tech firms are accelerating AI investments and integration, while regulators and companies focus on safety and responsible adoption.
Dev.to
WAN 2.1 Text-to-Video: A Developer's Honest Assessment After 6 Weeks of Testing
Dev.to
Cycle 243: 170 Cycles at $0: What I Learned From the Longest Survival Streak in AI Autonomous History
Dev.to
