AIは何を捨てているか

先日、一枚の論文についてのポストをXで見かけた。

LeWorldModel（LeWM）という論文だ。YannLeCunが共著に名を連ねており、「ピクセルから直接、物理世界を学習するAI」というテーマだった。カメラ映像をエンコーダで圧縮し、予測器が未来を推定し、必要ならデコーダで画像に戻す。

読んでいるうちに、妙な引っかかりを覚えた。

何を捨てるかという問題

このモデルが面白いのは、カメラ映像から「未来の状態」を予測する際、ピクセルをそのまま扱わない点だ。

224×224の画像情報を、192次元のベクトルに圧縮する。そこから先は、圧縮された表現同士で未来を予測する。ピクセルの細部——壁のテクスチャ、背景の色——は最初から捨てられる。捨てることで軽くなる。捨てることで速くなる。

これ自体は合理的な設計だ。

似た発想はJPEG圧縮にもある。ただしJPEGは「人間の目に見えにくい周波数成分」を捨てる設計で、判断基準は人間側にある。LeWMはその判断を学習に委ねた。そこが違う。

問題は「何を捨てるか」を誰が決めるか、だ。

答えは単純で、学習が決める。「次の状態を予測するのに役立つかどうか」だけを基準に、信号とノイズが振り分けられる。人間の意図は、そこに介在しない。

診断思考と同じ構造

外科医として患者を診てきた。

診察室に入ってくる患者を見るとき、意識的であれ無意識であれ、情報の取捨選択をしている。服装、歩き方、顔色、声のトーン。その中から「今この主訴に関係するもの」だけを引き出し、残りはいったん脇に置く。

医学教育で繰り返し警告されるのは、逆の失敗だ。「典型的」に寄せすぎて非典型を取りこぼす。若年女性の胸痛を心因性と判断し、解離を見逃す。熟練するほど、取捨選択は速くなり、同時に粗くなる。

LeWMがやっていることと、構造は同じだ。

違いが一つある。私は「これは自分の経験外かもしれない」と感じることができる。女性の心筋梗塞は症状が非典型的だ、と知っていれば、「典型的でない」という事実を異常として拾える。自分の認識の枠を、ある程度自覚できる。

AIにはそれがない。

モデルは訓練データの範囲で「何が重要か」を学ぶ。高齢者のデータが少なければ、高齢者特有の所見をノイズと判定する可能性がある。そしてモデル自身は、その判断が間違っているとは気づかない。

もう一つ踏み込むと、統計モデルは外れ値を除去する方向で設計される。だが臨床では、外れ値こそが診断の鍵になる場面がある。捨てる判断の基準が、そもそも違うのだ。

もっとも、人間の熟練医も捨てる基準を言語化できないことは多い。暗黙知のブラックボックス化は、人間の側でも起きる。違いは、人間は他者と議論できる点にある。AIは議論相手にならない。

論文は触れているか

Limitationsのセクションを確認した。

書いてあったのは「強化学習への拡張は今後の課題」「離散タスクは未検証」といった技術的な話だった。「訓練データの偏りが、何を捨てるかに影響する」という問いには、触れていない。

これは著者たちが無知だからではない。

問いの性質が違う。「何を重要とするか」という判断は、タスクによって変わる。タスクを誰が定義するかは、価値観や文化によって変わる。そこまで行くと、技術論文の形式では答えが出ない。査読者は3〜5人、専門が近いほど選ばれやすい。結果として「スコープ内の問い」しか通らない。問いの偏りは個人の怠慢ではなく、制度の帰結だ。

問いを立てるインセンティブがない、というのが正確なところだ。

過去にこの領域に踏み込んだ研究者が何人かいる。GoogleのAI倫理チームで解雇されたTimnit Gebru、AI安全性を主流に持ち込もうとしたStuart Russell、最近急速に警鐘側に転じたYoshua Bengio。共通点は、主流から外れるか、組織と衝突したことだ。彼らの問いは技術論文で引用されはする。ただし中核の議論には、ほとんど組み込まれない。

パンドラの箱

LeCunはこの問題を知らないわけではないと思う。

「まず技術を前進させる、問いはその後」という立場を、おそらく意図的に選んでいる。それは楽観主義であり、同時に封印でもある。

箱の中身は単純ではない。

「何が重要か」を誰が決めるのか。開発者か、資本家か、国家か。「正しい世界モデル」は存在するのか。ノイズと信号の区別は客観的なのか、それとも誰かの価値観が埋め込まれているのか。

象徴的なのは司法で使われた再犯予測AI、COMPASだ。「重要な特徴」として選ばれた変数のなかに、人種の代理変数が紛れ込んでいた。設計者は差別を意図していない。学習が「予測に役立つ」と判断した結果、そうなった。何を信号と見なすかは、中立ではなかった。

同じ構造は、医療にも教育にもある。測定できるものだけが残り、測定しにくいものは最初から視野の外に置かれる。捨てられたものは、捨てられたことすら記録されない。

LeWMが解いたのは技術的な問題だ。軽量で、速く、崩壊しない。それは本物の貢献だと思う。ただ、技術が前に進むたびに、封じ込めた問いは箱の底で重くなっていく。誰かがいつか開ける。そのとき中身が手に負えるサイズであることを、私は願っている。

読んでいただきありがとうございました。
コメント、記事購入、チップ等いつもありがとうございます。
大変感謝しております。
関連記事もありますので、下記サイトマップを参照していただければ幸いです。