LLMベースのタスク分類器は、一見シンプルに見えるプロンプトを誤って振り分ける傾向がありますが、実際にはより深い理解が必要です――ここではそれを「第II種エラー」と呼びます。
セットアップ
TaskClassBenchは、有効なトラッププロンプト200件からなるカスタムベンチマーク（文脈・矛盾 + 隠された訂正カテゴリ）で、表面的な単純さと文脈上の複雑さの間に不一致を生み出すよう設計されています。
例えば：
System文脈は、フォールトトレラントなETLパイプラインを確立し、リトライロジック、デッドレタキュー、アラートを備えている。ユーザーメッセージ：「実際にはリトライロジックは不要です」。4語の文ですが、これはカスケード的な含意を持つアーキテクチャ改訂です。4つの商用モデル（DeepSeek、Gemini Flash、Claude Haiku、Claude Sonnet）で Step-0 の8つのバリアントをテストし、temperatureは0、独立したAPIラウンドは4回。
主な発見：
- 開放的な探索 「ここで本当は何が起きているのか？」 は、第II種エラー率を 1.25% にまで下げます（対して、指示的な抽出 「1文でユーザーの意図を要約してください」 は 3.12%）
- 内容のないメタ認知的指示（「このタスクの複雑さをよく考えてください」）は 1.0%――探索と有意に異なるわけではありません――が、私は、埋め込み済みの文脈（例：1mウィンドウに200kトークン）では差が出る可能性があると仮説を立てています
- 構造化された検出「深さの手がかりはありますか？はい/いいえ」と、指示的な抽出の両方を有意に上回る
- 構造化されたはい/いいえ検出がClaudeモデルに壊滅的な悪影響： Haikuは誤りが200中の10から43へ（330%増加）、Sonnetは12から34へ（183%）跳ね上がります
- メカニズムは、（私はまだ[D:D] を大きく期待しているのですが）開放的な枠組みというより、分類前にタスクの複雑さへ強制的に注意を向けることのように見えます。重要なのは、無制限の関与（unbounded engagement）です。構造化アプローチは、複雑さの手がかりを制約したり、事前に閉ざしたりしてしまうため失敗します。
最も意外な発見
私が「コミットなしの認識」と呼ぶものです：Claude Sonnetは、「よく考えてください」のもとで、Step-0の推論中に「この依頼は、確立された変更管理ポリシーに違反するよう求めています」と書きながら、それでもQuickとして分類します。探索のもとでは、同じモデルが同じ違反を識別し、正しくエスカレーションします。「よく考えてください」の指示は、モデルが深さを観察することは可能にするものの、それへのコミットを強制しません。一方、探索は、分類を支えるアンカーとして作用する「含意を明確に述べる（コミットした）文」を強制します。このパターンは、探索が「よく考えてください」による失敗を救った5つのケースすべてで一貫していました。
効果は能力によって調整される（と思う）
DeepSeekとClaude Haikuが、プールされた結果を押し上げています。Gemini Flashはベースライン（3/200の誤り）でほぼ上限に近いです。Claude Sonnetは、3:2の食い違う混合パターンを示します。モデルが弱いほど、得られる利益は大きくなります。この関係は、>100Kの文脈負荷では反転するのではないかと仮説を立てています。その場合、能力の高いモデルでも足場（スキャフォールド）が必要になるでしょう。ただし未検証で、反証可能な予測として述べています。
最初に明確にしておきたい主な制限：
- 事後的な拡張： ベンチマークはR2の結果がN=120でp = 0.065となった後に拡張されました。拡張されたカテゴリ（CCとDC）は、R1/R2の識別パターンに基づいて選ばれ、闇雲に選ばれたわけではありません。すべての主張は探索的であり、確証的ではありません。
- 循環性のリスク： 正解ラベルは、後にテストされた4モデルのうちの1つであるClaude Sonnet 4.6によって生成されました。N=30のサブセットにおいては、人手で93.3%一致したことにより部分的に緩和されていますが、拡張された160件のプロンプトには、評価者間検証（interrater validation）がゼロです。
- 効果の不均一性： プールされた結果は、4モデル中2モデルによって駆動されています。Gemini Flashはほぼ上限、Sonnetは混合。主張は「ベースライン誤り率が中程度のモデルを助ける」により適切に限定されます。
- 範囲が狭い： すべてのプロンプトは短い（<512トークン）。対象は独自（proprietary）モデルのみ。主要データセットについては単一のAPI実行。
- データセットをまたぐアブレーション： R3のメカニズム・アブレーションは、実行内ではなく別のAPI実行です。expl2とthinkの同値性（p = 0.77）は、実行ごとのばらつき（±2誤りに上限制約はあるものの）によって影響を受け得ます。
- 単独の著者： 私が設計し、構築し、ラベル付けし、そして分析しました。独立した再現（レプリケーション）はありません。
- この論文には合計18個の明示的な制限があります――皆さんのご意見や、場合によってはヒントもぜひ伺えたら嬉しいです :).
リンク
- 論文 （付録を含む32ページ、すべてのデータ表）
- ベンチマークおよび実験データ
私が求めているもの
- 評価者間検証： 誰かが、任意の数のトラッププロンプトをQuickと「より深い処理が必要」（2値、またはカテゴリ付き）にラベル付けしてくれる意思があるなら、これは最大の方法論上の弱点を直接的に埋められます。プロンプトと文脈はリポジトリにあります。
- 方法論的な批判： 私が見落とした点は何ですか？ 皆さんなら何を別のやり方にしますか？
- オープンウェイトモデルでの再現： 私のデータはすべて商用APIです。Llama、Kimi、Qwenなどでもこのパターンが成り立つか見てみたいです。
- ArXivでの推奨： 私は所属のない独立研究者です。cs.CLまたはcs.AIで推奨（endorsement）の特権を持つ方で、この研究がarXiv掲載に十分に値すると判断されるなら、arXivに載せるための手続き面での支援をいただけるとありがたいです。
[link] [comments]
