TRACER：形式的な教師一致保証を備えたLLM分類のための学習・ディファー（Learn-to-Defer）

Reddit r/MachineLearning / 2026/3/30

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisTools & Practical UsageModels & Research

共有:

要点

TRACERは、LLM分類に対して、より安価なローカル代理モデルへ一部の呼び出しを先送り（defer）しつつ、代理モデルと教師モデルの一致率の最低目標を満たすことを狙って、コスト効率の高いルーティング方策を学習する公開ライブラリである。
この手法では、保留データで校正された「アセプタゲート（acceptor gate）」を用いることで、合意（teacher-agreement）の形式的な保証を提示しながら、合意制約のもとで最大限のカバレッジを実現できる。
TRACERは3つのパイプライン系統—Global（accept-all）、L2D（surrogate＋conformal acceptor gate）、RSB（二段階の残差カスケード）—を提供し、自動化されたパレートフロンティア基準によりそれらの中から選択する。
BGE-M3埋め込みを用いたBanking77の意図分類の例では、代理モデル一致率を92%目標としたときに91.4%のカバレッジを報告し、エンドツーエンドのマクロF1は96.4%であり、L2Dが選択された。
本プロジェクトには代理学習器向けの小さな「モデル・ズー（model zoo）」が含まれており、形式的な校正保証に加えて、質的な監査（例：スライス要約や境界ペアの比較）も提案している。

TRACER（Trace-Based Adaptive Cost-Efficient Routing）を公開します。これは、LLMトレースからコスト効率の高いルーティング方針を学習するためのライブラリです。

セットアップはこうです。分類タスクを処理するLLMがあるとします。呼び出しの一部を、安価なローカル代理モデルに置き換えたい。一方で、代理モデルが、処理対象となったトラフィックに対して少なくともX%の割合でLLMと一致するという形式的な保証も必要です。

技術的な核:

3つのパイプライン系統：Global（全て受け入れ）、L2D（代理モデル＋適合的受理アクセプタゲート）、RSB（Residual Surrogate Boosting：2段カスケード）
アクセプタゲートが代理モデルと教師（teacher）の一致度を予測；ホールドアウト分割で校正
校正保証：校正セットにおいてTA >= 目標を満たす条件のもとで、カバレッジを最大化
モデル群：logreg、MLP（1h/2h）、DT、RF、ExtraTrees、GBT、XGBoost（任意）
定性的監査：スライス要約、対比的な境界ペア、時間差（temporal deltas）

Banking77での結果（77クラス意図、BGE-M3埋め込み）：