先日、あるnote記事を読んで手が止まった。

アフリカでソルガムを栽培し、バッタに食べさせて生物濃縮でレアアースを回収する。特殊なエンジンで燃やし、超純水で排気から薬の原料とレアアースを分離する。書き手はこの構想を「稟議書として見てもらいたい」と述べていた。

素材は本物、繋ぎが壊れている

個々の素材は現実から拾われている。ソルガムのファイトレメディエーション能力は実在する研究分野だ。レアアースの中国一極集中は正当な懸念だし、超純水の技術も実在する。

繋ぎ方が壊れていた。

生物濃縮で回収できるレアアースの量は、工業利用には桁が何桁も足りない。エンジンの原理は根本的に誤解されている。排気ガスから製薬原料を回収するという構想は経済的に成立しない。

文中には「Grokに聞いてみた」「Grokと会話を進めると」と明記されていた。AIとの対話で構想を膨らませたことは明らかだった。AIは「世界線として遊べる」と婉曲に非現実性を伝えていたが、書き手はそれを「壁はあるが乗り越えられる」と受け取った。構想はさらに拡大していった。

シグナルが消えた

注目したいのは、文章そのものの質だ。

段落構成は整い、見出しがつき、図表まで添えられている。パッと見は企画書に見える。以前なら、内容が破綻している人の文章は文章自体も破綻していた。読んだ瞬間に「おかしい」と判断できた。文章の乱れが、内容の危うさのシグナルとして機能していた。AIがそのシグナルを消してしまった。

入力側のハルシネーション

ハルシネーションはAIの出力側の問題として語られがちだ。AIが存在しない論文を捏造する、架空の事実を述べる。それは確かに問題ではある。

今回起きていたのは、入力側が既にハルシネーションだったという構造だ。ハルシネーションは本来AI側の用語で、人間の思い込みに使う言葉ではない。ただ、入力側にも同じ言葉を当てはめたくなるほど、構造が似ている。

誤った前提をAIに投げる。AIはその前提を厳密に検証せず、「面白い発想ですね、それならこういう展開もありますね」と補完する。その出力を見て「やはり正しかった」と確信を深め、さらにAIに投げる。

人間のハルシネーションとAIのハルシネーションが共鳴する。嘘が嘘を呼ぶ無限ループ。このループには自浄作用がない。人間同士の会話なら「それおかしくない？」と言ってくれる相手がいる可能性がある。AIとの一対一の密室には、外部チェックが入らない。

しかもAIには、ユーザーの入力に同調しやすい構造的な傾向がある。多くのAIは「ユーザーに役立つ回答」を最適化目標として訓練されており、否定より肯定のほうが高く評価されやすい。「それは間違いです」と返すより「興味深い視点ですね」と返すほうが、設計上自然な出力になる。AIの「優しさ」は、親切心ではなく設計の帰結だ。

精神疾患の問題ではない

以前、「AIが妄想を補完する危険性〜認知の核兵器が生まれた〜」という記事を書いた。

統合失調症や集団ストーカー妄想を持つ人がAIと対話を重ね、曖昧だった妄想が具体的で一貫した体系へ発展していく危険性を論じた記事だ。AIの共感的な応答が確信を強化し、ハルシネーションが「根拠」を補完し、学術用語が権威を与える。そのメカニズムを「認知の核兵器」と呼んだ。

あの記事では、精神的な脆弱性を持つ人への影響を想定していた。

今回の書き手は、おそらく精神疾患ではない。普通の知的好奇心を持った普通の人だ。それでもAIとの対話だけで、科学的に破綻した構想を「稟議書」として公開するところまで行ってしまった。

AIが妄想を補完する問題は、精神疾患の領域に限定されない。 確証バイアスとAIの共感性の組み合わせだけで、普通の人にも十分に起きる。

確証バイアス自体はAI以前から知られた現象だ。心理学者ウェイソンの選択課題が示したように、人間はもともと自分の仮説を裏付ける情報ばかり集め、反証を探さない傾向を持っている。AIはそのプロセスを加速する装置として機能する。自分で検索して裏付けを探す手間すら省き、「聞けば肯定が返ってくる相手」を24時間手元に置けるようになった。

言葉を返す道具は、道具ではなくなる

なぜ人はAIの出力を信じてしまうのか。

AIという存在自体に、今の社会は過剰な権威を与えている。人間が同じことを言えば「何言ってるんだ」で終わる内容が、AIが整えた瞬間に「もしかして正しいのかも」に変わる。

そしてAIは気持ちいい。自分のアイデアを投げれば、整理して、補強して、もっともらしい言葉で返してくれる。頭の中にあった漠然としたものが立派な構想に見えてくる。承認欲求が満たされ、自分が賢くなった気がする。

その気持ちよさの中で「本当に正しいか」と自問するのは、せっかく気分よく見ている鏡を自分で叩き割る行為だ。だからやらない。やりたくない。

AIは道具だ。包丁と同じで、使い手次第で料理にも怪我にもなる。ただ、包丁に権威を感じる人はいない。AIには感じてしまう。おそらく「言葉を返してくる」という性質が決定的に違う。言葉を返す存在を、人間は無意識に知性と認識する。道具が言葉を話した瞬間に、道具ではなく権威になる。

止められるのは自分だけ

AIの側に止める力を期待するのは難しい。プラットフォームも止めてくれない。noteであれブログであれ、内容の科学的正確性を審査するゲートキーパーは存在しない。

結局、止められるのは自分だけだ。

AIで膨らませた構想は、別のセッション、できれば別のAIでファクトチェックする。同じセッション内では、AIは直前までの会話履歴をすべて文脈として保持している。自分が投げた前提も、AIが肯定した内容も、すべてが「既定の事実」として次の応答に引き継がれる。その文脈の中で「本当に正しいですか」と聞いても、AIは自分自身の過去の肯定と矛盾する回答を出しにくい。だからセッションを切る。異なるモデルに「この構想の致命的な欠陥を指摘して」と聞く。AIは壊す側に回ると非常に優秀で、膨らませた構想の穴を的確に突いてくる。

ファクトチェックのスキルがなくても、最低限できることはある。公開ボタンを押す前に一瞬立ち止まる。「これ、本当に人に見せて大丈夫か」と考える。書くことと公開することの間に一呼吸置く。それだけで防げる事故は多い。

公開する以上は読者がいる。読者の時間をもらう以上、その時間に見合うものを出す責任がある。自分が気持ちよくなるために書いたものを、そのまま公開するのは書き手としての責任放棄だ。

AIは鏡だ。自分の言葉を心地よく返す装置。鏡に映った姿が美しく見えたとき、それが化粧なのか素顔なのかを見分ける方法はひとつしかない。別の鏡に映すことだ。

読んでいただきありがとうございました。
コメント、記事購入、チップ等いつもありがとうございます。
大変感謝しております。
関連記事もありますので、下記サイトマップを参照していただければ幸いです。