人工汎用知能（AGI）は、科学的発見を加速させ、人類が直面する最も差し迫った課題のいくつかを解決する可能性を秘めています。しかし、この重要なマイルストーンがどれだけ近いのかを判断するのは難しい場合があります。システムの汎用知能を評価する実証的ツールが不足しているためです。AGIへの進捗を追跡するには、さまざまな方法とアプローチが必要であり、認知科学はその謎の重要な一部を提供すると私たちは信じています。

それが理由で、私たちは新しい論文「AGIへの進捗測定: 認知分類」を公開します。これは、AIシステムの認知能力を理解するための科学的基盤を提示します。

論文と共に、私たちは Kaggleと協力してハッカソンを開催 し、研究コミュニティにこのフレームワークを実践に活かすための評価作りに協力してもらうことを呼び掛けます。

汎用知能の分解

私たちの枠組みは、心理学、神経科学、認知科学の数十年にわたる研究を基に、認知分類を開発します。AIシステムにおける汎用知能にとって重要になると私たちが仮定する10の認知能力を特定します：

1. 知覚: 環境から感覚情報を抽出・処理する
2. 生成: テキスト、音声、行動などの出力を生成する
3. 注意: 重要なことに認知資源を集中させる
4. 学習: 経験と指導を通じて新しい知識を獲得する
5. 記憶: 時間を超えて情報を保存・検索する
6. 推論: 論理的推論を通じて妥当な結論を導く
7. メタ認知: 自身の認知プロセスに関する知識と監視
8. 実行機能: 計画、抑制、認知的柔軟性
9. 問題解決: ドメイン固有の問題に対する効果的な解決策を見つける
10. 社会的認知: 社会情報を処理・解釈し、社会的状況で適切に対応する

これらの認知能力におけるAIの能力を理解するため、私たちは人間の能力と比較してシステムの性能を評価する3段階の評価プロトコルを提案します：

1. 各能力を網羅する広範な認知タスクのセットに対してAIシステムを評価し、データ汚染を防ぐためにホールドアウトテストセットを使用する
2. 同じタスクについて、人口統計的に代表的な成人サンプルから人間のベースラインを収集する
3. 各能力における人間の性能分布に対する各AIシステムの性能をマッピングする

理論から実践へ

これらの認知能力を定義することは重要な第一歩ですが、進捗を測定するための枠組み以上のものが必要です。この理論を実践に落とすべく、新しいKaggleハッカソンを開催します — AGIへの進捗測定: 認知能力」。このハッカソンは、評価ギャップが最も大きい5つの認知能力（学習、メタ認知、注意、実行機能、社会的認知）についての評価を設計するよう、コミュニティに促します。

Kaggleが新たに開始した コミュニティ・ベンチマーク プラットフォームを使って、最前線モデルのラインアップに対して評価を構築・テストすることができます。

総賞金額は200,000ドルです。5つのトラックそれぞれの上位2件には10,000ドルの賞金、そして総合で最も優れた4件には25,000ドルのグランドプライズを授与します。提出は3月17日から4月16日まで受け付け、結果は6月1日に発表します。開始するには Kaggle のウェブサイトへアクセスしてください。

Google からのストーリーを受信トレイで受け取りましょう。 Google のストーリーをもっと 受信トレイで 受け取りましょう。

また、別のメールアドレスでも購読できます。 別のメールアドレス 。