Netflix、Meta、IBMの登壇者たち：AIは誰でも10倍のプログラマーにするが、その分“10倍の後片付け”も必要になる
エージェントが生み出した仕事を、エージェント自身の仕事としてチェックする
All Things AI AIは使うのは簡単ですが、「アレクサ！ECサイトを作って」と“ただ吠える”だけほど簡単ではありません。もちろん、「DON'T HALLUCINATE（幻覚を出すな）」を指示のループに追加したところで、それは解決しません。
もっと言えば、最適なAIの成果は、防御力を強化したエージェントを好む――IBM、Meta、Netflixなどの登壇者たちは、ノースカロライナ州ダーラムで開催されたAll Things AI会議でそう述べました。
AIにあなたの代わりにやらせたいことが多いほど、事前準備としてやらなければならない作業も増える、と彼らは忠告しました。
数多くの講演がジェヴォンズのパラドックスを想起させました。これは、ある資源がより効率的になるほど、その資源はより多く使われる、というものです。このパラドックスは、AIが誰もが仕事を失うようにはならない理由を説明するためにしばしば用いられます。実際には、議論の筋書きによれば、AIはより多くの仕事を生み出すのです。
現状のAIは確かに、利用者により多くの作業を生み出しており、文脈の準備に時間がかかり、結果を確認する必要があります。Claudeは誰でも10倍のプログラマーにしてくれますが、10倍分の結果を“10倍の手間で”後始末しなければならないでしょう。
あるいは、最も黙示録めいた言い方をすれば、シンギュラリティが『マトリックス』のように人類をエネルギーポッドで奴隷にする前に、私たち“肉の塊”が少し手助けして、なんとか回り道をする必要が出てくるのです。
魔法使いの弟子
AIはいかにしてNetflixの人々を忙しくし続けているのか？ 講演で、NetflixのUIアーキテクトである Ben Ilegbodu は、あるタスクを自動化するエージェントを作った瞬間に、その仕事を評価するための2体目のエージェントが必要になると説明した。
Ilegboduは時々、コードレビューの異なる部分を専門とする複数のエージェントに仕事を分解してしまうことさえある。彼はこのアプローチを「adversarial code review（敵対的コードレビュー）」と呼んでいる。
さらに3体目のエージェントが、最初の2体の間で実行されるアクションをオーケストレーションする必要もある、と彼は言った。
Ilegboduの仕事日は、ジュヴォンズのパラドックスを体現している。彼が1体目のエージェントに新機能の実装を任せると、次に思い描いているタスクのための事前作業を別のエージェントにやらせる。言い換えれば、彼は「常に作業が進んでいるように自分を並列化している」のだ。
AIによってIlegboduは、Python、Bash、Groovyのようにまだ知らない言語でもコードを書くことができるようになった。
しかし、この文脈の切り替えは消耗になり得る、と彼は認めた。「結局のところ、実は1日中何かと話していたので、けっこう疲れているんです。」
飽くなきインターン
多くのコーダーはAIを、チームの熱心なジュニア開発者のようなものだと考えている。つまり、熱意はあるが未熟。でも、ジュニア開発者と違って、AIは「圧倒される」ことはない、とMetaの開発者アドボケートである Justin Jeffress は講演の中で述べた。
ただAIに情報をさらにどんどん投入し続ければよく、（投入できるだけのトークン数の範囲で）それを全部取り込んでくれる。
そうした底なしの食欲が、Jeffressの言う「context rot（文脈の腐敗）」を生む。
「時間が経つにつれて、あなたがAIエージェントとやり取りするほど、その答えを出すために計算しなければならない“もの”が増える。すると、注意を奪い合うものが増えて、正しいことをする可能性が下がっていく」と彼は言った。
彼は聴衆に対し、曖昧な指示は拡散した結果につながると語った。さらに、エージェントに渡している情報のことを明確に考えるのは、コンテキストエンジニアリングの仕事であり、エージェント型AIの短い期間の間に、（まだ完全に正規の分野になっているわけではないとしても）一種の芸術形式になってしまった。
コンテキストエンジニアリングでは、「AIエージェントがその瞬間に必要とするタイミングで、問題を解くために参照できるルール、ツール、スキル、その他のもののセットを作っている」と彼は述べた。さらに「プロンプトチェイニング（prompt chaining）」、つまりやるべき具体的なタスクを手順ごとに列挙することを一歩進めて推奨することさえある。最初に行う作業が増えれば、実行時に気にすべきことが減り、開発者は一杯やりにちょっと抜け出せる。
冗談です。並列で複数のエージェントを動かすことで、プロセスをさらに磨き込むための時間が生まれるだけです。Jeffressは、自分自身のエージェントのオーケストラの指揮者になれと言った。加えて、エージェントがミッションを忘れないように進捗を追跡するためのmarkdownファイルも作るようにしてください。
Jeffressは、AIは通常、与えられた仕事の80％はこなせるが、残りの20％は人間が仕上げることになると指摘した。Jeffressが残り20％の作業に取り組んでみたところ、その80％はボットでできてしまうことが分かった。そしてまた同様に…終わりのない片付け作業のための、ある種のフラクタルな パレートの法則 のように。
願望を込めたプロンプト
AIがあなたの望みどおりにまったく動かないことは、AIの問題ではない。それは「分解（decomposition）」スキルが不足していることの問題だ、とIBMの言語およびマルチモーダル技術担当ディレクター Luis Lastras は講演で主張した。
願望を込めたプロンプトとは、単に「私は強く主張する。幻覚を起こすな。私のキャリアはそれにかかっている、お願いお願いお願い。」とタイプすることにすぎない、と彼は言う。魔法の呪文を唱えて、それがうまくいくことを期待するようなものだ。
代わりに開発者は、作業をエージェントが扱えるように、より小さく、より“食べやすい”単位へ分割する方法を考えるべきだ。
- AI採用ビジネスのMercor、LiteLLMのサプライチェーン攻撃で「数千件のうちの1つ」だったと主張
- GoogleのTurboQuantはメモリを節約するが、DRAM価格地獄からは救ってくれない
- 「アンクル・ラリーの最大のファン」へのメールが、早朝のOracleレイオフ連発で送られた
- Claude Codeは、あまりに多くのコマンドを与えると安全ルールを回避する
この種の「分解」は、実際のところエンジニアリング入門（Engineering 101）だ、と彼は言った。それは「とても複雑なシステムを取り、主要な部品が何かを見つけ、モジュール化し、その部品となるものを設計し、さらにはそれらの部品を設計する専門家を割り当てるまで行う」ことの“技術（アート）”だ。
エージェントを作るときは、ただランダムに情報をLLMに投げ込むのではなく、エージェントがタスクを実行するのを助けるための具体的な関数を定義しなければならない。IBMが最近リリースした mellea.ai は、Lastrasがいう重要なパターンのオープンソースライブラリだ。LLMに対して特定のPythonでエンコードされた指示を与えるための関数である。LLM呼び出しに要件を追加したり、有害な出力を検出したり、スキーマに沿って出力を構造化したりなどに使える。
Big Blueはまた、特化したタスクのためにエージェントがLLMを切り替える、いわゆる「スイッチ・ブレイン（switch brains）」の能力にも取り組んでいる、とLastrasは述べた。IBMの研究では、より小さくドメインに特化したモデルでも、推論に使える時間をより多く与えれば、より大きなモデルを上回るということが分かった。
準備の“税金”を払え
「暗黙の前提はテックデットだ」とIntuitのシニア開発者Justin Chauはさらに説明した。私たちにとって自明なことでも、機械にとっては自明ではないことがある。「アウトカムとして何を得たいのか、私たちはとても、とても具体的である必要がある。」
Chauからの助言の一つは、エージェントに“指示”ではなく“制約”を与えることだ。LLMは、その指示を実行するよりもタスクを完了するためのより良い方法だと自分が考えた場合、その指示を無視してしまうことがある。制約は“絶対にダメ”という線引きであり、AIの頭脳が無視しにくい。たとえばエージェントに「いかなる状況でもHTMLを使うな」と伝えれば、その要求に従う。
しかし、制約よりもさらに強力なのは“許可がない”ことだ。「GitHubへのアクセスを与えなければ、GitHubに絶対に触れないと確信できる」とChauは言った。
The Hitchhiker's Guide to the Galaxy（銀河ヒッチハイク・ガイド）の愛好家なら、「Deep Thought（ディープ・ソート）」、つまり世界で最も強力なコンピュータの“パラドックス”を覚えているだろう。AIそのものと同じように、ディープ・ソートも「生命、宇宙、そして万物」の答えを届けるために作られた。しかし何世紀にもわたる計算の末、返ってきたのは理解しがたい答え（42）だけだった。すると人類は、実際の問いが何なのかを突き止めるために、さらに巨大なコンピュータを必要とした。
おそらくAIの世界でも、私たちはアダムスの世界にいるのだろう。AIは私たちの代わりにすべての作業をしてくれるわけではなく、終わりのない準備の道へと私たちを連れていく。®
