人手介入を最小化するオンライン分類

要旨: 大規模言語モデル（LLM）ベースのシステムを学習または微調整する際には、多くの場合コストの高い人的フィードバックが必要ですが、そのような介入を最小化しつつ強い誤り保証を維持するには、十分な理解がありません。本研究では、能動学習の枠組みにおけるLLMベースの分類システムに対して、この問題を扱います。ここで、エージェントは、未知の分布から独立同分布（i.i.d.）で引かれたd次元のクエリ埋め込みを順次ラベル付けします。方法は、コストの高い専門家を呼び出すか、フィードバックなしで推測するかのいずれかです。目的は、専門家アクセスが無料のオラクルに対する後悔（regret）を最小化することです。ホライズン T が埋め込み次元 d に関して少なくとも指数的であるとき、クラス領域の幾何（geometry）が学習できます。この状況では、専門家ラベル付きクエリの凸包を維持し、既知のすべての凸包の外にクエリが着地したときにのみ専門家を呼び出す、保守的凸包ベース分類器（Conservative Hull-based Classifier; CHC）を提案します。CHCは T において mathcal{O}(log^d T) の後悔を達成し、d=1 に対してミニマックス最適です。そうでない場合、一般に幾何を信頼できる形で学習することはできません。さらに、クエリがサブガウス混合分布から生成され、T le e^d であるとき、中心（Center）ベースの分類器（Center-based Classifier; CC）が、ラベル数 N に比例する Nlog{N} のオーダーの後悔を達成することを示します。これらの領域を橋渡しするために、調整可能なパラメータにより、より攻めた推測を可能にするCHCの実用的拡張である、一般化凸包ベース分類器（Generalized Hull-based Classifier; GHC）を導入します。本手法は、最先端のテキスト埋め込みモデルを用いた実世界の質問応答データセットで検証されます。