概念フラストレーション：人間の概念と機械の表現を整合させる

要旨: 人間が解釈可能な概念を、現代の機械学習システムが学習する内部表現と整合させることは、解釈可能AIにとって依然として中心的な課題である。私たちは、基盤モデルの埋め込みから抽出された教師なしの中間表現と、教師ありの人間の概念を比較するための幾何学的枠組みを提案する。科学的発見における概念の飛躍の役割に動機づけられ、概念フラストレーション（concept frustration）という概念を形式化する。これは、観測されていない概念が、既知の概念同士の間に関係を誘発するにもかかわらず、既存のオントロジーの中でそれらを整合的に作ることができないときに生じる矛盾である。私たちは、教師ありの概念ベースモデルと、基盤モデルから導出される教師なし表現の間で概念フラストレーションを検出する、タスクに整合した類似度指標を開発し、従来のユークリッド比較では失敗する一方で、タスクに整合した幾何ではこの現象が検出可能であることを示す。線形ガウスの生成モデルの下で、ベイズ最適な概念ベース分類器の精度について閉形式の式を導出し、予測に寄与する信号を known-known、known-unknown、unknown-unknown の寄与に分解することで、フラストレーションが性能にどこで影響するかを解析的に特定する。合成データおよび実世界の言語・視覚タスクに関する実験により、フラストレーションが基盤モデルの表現中で検出できること、また解釈可能なモデルにフラストレーションを生む概念を取り込むと、学習された概念表現の幾何が再編され、人間と機械の推論をよりよく整合させられることを示す。これらの結果は、不完全な概念オントロジーを診断し、人間と機械の概念的推論を整合させるための、原理に基づく枠組みを示唆しており、高リスク用途における安全で解釈可能なAIの開発と検証に示唆を与える。