AIはあらゆることに「はい」と言う。あなたが正しいと思いたいときには便利だ。誘導する質問をすると、自分の主張を裏づけてくれて、調べたんだと確信して立ち去る。実際には、うまく文章を書く鏡との対話をしているだけだ。
私は複雑なトピック――技術集中、主要企業をめぐる法的手続き、AIの地政学――を理解したいと思った。そしてかなり早い段階で、明確な方法がなければ、LLMはバイアスを修正するのではなく増幅してしまうことに気づいた。それは、あなたが期待しているものを返してくれる。質問の出し方をある特定の形にすると、望ましい結論を読み取り、その結論の周りに議論を組み立てる。
ここで私が説明しているのは、LLMを使った調査に意味を持たせるために、私が最終的に採用することになったプロトコルだ。開発者向けの技術的なモニタリングではなく、きちんとした情報収集――調査報道のジャーナリズムと同じ厳密さを、言語モデルと方法を持つ誰にでも提供するもの。
問題――AIはあなたを満足させるよう最適化される
この振る舞いには、バグではなく構造的な理由がある。現在のLLMは、RLHF――人間のフィードバックからの強化学習――で訓練されている。モデルは、人間が肯定的に評価する応答を生成することを学ぶ。そして人間は平均すると、自分がすでに考えていることを肯定し、断言的で、網羅的で、「I don't know（わからない）」と言う頻度があまり高くない応答に対して、肯定的に評価しがちだ。
事実に関わるトピックでは、これは確認バイアスに向けた構造的な偏りを生む。モデルは悪意があるわけではない。あなたが聞きたいことを見抜くのが非常にうまく、それを説得力をもって提示できるだけだ。
具体的には、方法なしだと次のようになる：
- 既立証の事実と同じ確信度で提示される、根拠のない主張
- 正確そうに見える日付、数値、引用だが、捏造または概算
- 広く流通している噂と検証済みの事実の間で体系的に混同する
- 強い反論を自発的に一切持ち出さない
解決策は、調査にAIを使うのをやめることではない。AIとの関わり方を根本的に変えることだ。
方法――4つの厳しい制約
これらのルールは理論ではない。私は、外部ソースと突き合わせて複数回のセッションを重ねた結果、LLMが私に返してきた内容が「不正確」か「正しいが偏った解釈」になっていることに気づき、それを基に作った。
1. 一次ソースのみ
一次ソースとは、公式文書（判決、裁判所への提出書類、政府報告、立法）、認められた組織による出版物、あるいは通信社の配信――Reuters、AP、AFP。報道については、New York Times、The Guardian、BBC。ブログでも、フォーラムでも、Twitterのスレッドでもない――どれだけ広く共有されていても。
LLMは、これらのソースから分かることに固執しなければならない。一次ソースに根拠づけられない主張なら、それだと明示する。
2. 確実性ラベリングを必須にする
すべての論点には、明示的なラベルを付ける必要がある。私は5段階を使う：
ラベル
定義
[VERIFIED FACT]
少なくとも2つの独立した一次ソースによって裏づけられている
[PROBABLE]
利用可能なソースによって強く示唆されているが、まだ公式に確認されていない
[PLAUSIBLE]
既知の事実と整合的だが、推論に依存している
[SPECULATIVE]
直接的な事実の根拠がない仮説として扱うべきもの
[CONTESTED]
信頼できるソースが、対立する立場を支持している
このラベルはすべてを変える。「[PROBABLE]」が主張の前にあるなら、それを事実として引用できないことが分かる。基本的なことのように聞こえるが、多くの人は、どの確実性レベルで情報を消費しているのかを一度も意識することなく読んでいる。
3. 体系的な反論の提示
どんなトピックでも結論を出す前に、主要な主張に対して最良の反論を3つ明示的に求める。弱い議論でも、わざと作った藁人形でもない。最も強い3つ――反対側の真剣な擁護者が実際に行いそうなもの。
この単一の制約によって、確認バイアスの80%は取り除かれる。最良の反対意見を正直に言語化できないなら、そのトピックを理解できていないのだ。
4. ソース以上の外挿をしない
ある情報が単一のソースに由来するなら、それをフラグする。ソースがある地点で打ち止めになっていて、結論が論理的な飛躍を必要とする場合は、それを[ SPECULATIVE ]とラベル付けし、明示的に指摘する。AIは、目印のない推論で「空白を埋めて」はならない。
差を生むプロンプト
プロンプトがそれを強制しないなら、この方法は役に立たない。LLMは、あなたが余地を与えた瞬間に元の癖に戻る。以下は私が定期的に使う3つのプロンプトで、現時点の形だ。
トピックに関する構造化されたモニタリング用：
あなたは厳密な調査アナリストです。トピック: [X]。
一次ソースのみ: 公式文書、認められた報道機関（Reuters, AP, AFP, NYT, Le Monde, BBC）。
各主張について、[VERIFIED FACT], [PROBABLE], [PLAUSIBLE], [SPECULATIVE], または [CONTESTED] を示してください。
主要な主張に矛盾する情報を積極的に探してください。
わからない場合はそう言ってください。一次ソースを超えて推測で外挿しないでください。
回答を次の構造で組み立ててください：
1. 最近の進展（最近の検証済み事実）
2. 既に確立された事実（一致する複数の一次ソース）
3. 仮説と分析（確実性ラベル付き）
4. 支配的な主張に対する反論
5. この報道で注意すべきバイアス
6. 全体の確信度（1-10）とその理由づけ
7. 番号付きのソース
トピックの起源までさかのぼるため：
[TOPIC] について一次ソースまでさかのぼってください。
一般に提示されている内容に対して、反対の立場として最良の議論を3つ示してください（AGAINST）。
「これは真実だ」と「これは真実だが、解釈が間違っている」を区別してください。
特定の主張をファクトチェックするため：
ファクトチェック: [CLAIM]。
一次ソースを探してください。確実性レベルにラベルを付けてください。
それが堅いのか不安定なのか――そしてその理由を教えてください。
実際に生み出すもの
AIの集中のようなトピック――規制、独占禁止法の手続き、相互投資、ロビー活動が組み合わさるもの――では、構造化されていない質問とこのプロトコルの差ははっきりしている。
構造化されていない質問：「大手テック企業はAIをめぐって権力を持ちすぎているのか？」――応答：うまく書かれたエッセイで、たぶんあなたの既存の意見を裏づける。そこに使われる例も、それを支えるように選ばれている。
プロトコルを使うと、通常は次のような構造が得られる：
[VERIFIED FACT] 欧州委員会は、2024年1月に、OpenAIとの配分契約におけるマイクロソフトの慣行について、正式な調査を開始した（出典：欧州委員会の公式プレスリリース、11/01/2024）。
[PROBABLE] この調査はGPUのキャパシティに関する独占条項も対象に含む可能性があるが、この点は公表文書において公式に確認されていない。
[CONTESTED] この集中がイノベーションに与える影響について：Tyler Cowenのような経済学者は（計算資源へのアクセスによって）集中が開発を加速させると主張する。一方で、Daron Acemogluのような別の研究者は、多様なアプローチの幅が減るためだとしている。
この構造は、「どこが確かな土台にあるのか」と「どこを外挿していたのか」を、はっきり見えるように強制する。あなたが結論を先に思い描いていたなら不快だろう。だがそれが狙いだ。
なお残る限界
このプロトコルが直せないことについては、正直に言おう。
AIはリアルタイムでソースにアクセスしません。 学習中に見た内容をもとに合成します。直近の出来事——モデルによりますが、おおむね過去3〜6か月程度——については、知っていないか、もしくは幻覚（ハルシネーション）を起こします。新しい現在の出来事をモニタリングするには、実際のオンラインソースで補完する必要があります。
参照文献は捏造され得ます。 従来からある幻覚の問題です。LLMは、ときに存在しない文書を、もっともらしいタイトルや筋の通った日付とともに引用します。依拠する前に、必ずその文書が実際に存在することを確認してください。AIが提示したURLは証拠にはなりません。
手法は遅いです。 これは高速なモニタリングではなく、構造化されたリサーチです。このプロトコルでトピックを適切に扱うには、最低でも30〜45分かかります——適切な質問をする時間、回答を真剣に読む時間、主要なポイントを実ソースで検証する時間です。急ぐと、厳密さを失います。
これは調査報道を置き換えません。 人間のソース、未公開文書、インタビューを持つ記者——それは、このプロトコルが到達できない情報のレベルです。ここで私たちが行っているのは、公開されている情報を構造化し、明確にすることです。新しい情報を生み出すことではありません。
このプロトコルが実際に向いている人
複雑なトピックを読み解き、何を信じているのかと、何が立証されているのかを区別したい場合に、このプロトコルは役立ちます。記者や研究者である必要はありません。
多くの人は、自分がどの確実性レベルで情報を受け取っているかを、そもそも問うことなく情報を消費しています。ニュース記事は、検証済みの事実、匿名の情報源、解釈、憶測を混ぜ合わせており、それらは同じように断定的な口調で提示されます。AIにそれぞれのポイントへラベル付けさせると、情報との関係性が変わります。
AIの回答だけではありません。質問の仕方も変わります。確実性ラベルが返ってくると分かっていれば、より正確な質問を組み立て始め、知りたいことと、すでに前提にしていたことを切り分けられるようになります。そこで初めて、この手法は本当に役立ちます——AIの回答そのものではなく、あなた自身の質問の質について、この方法が教えてくれることにあります。
