FLARE：正規化プロセスによるタスク非依存の埋め込みモデル評価

arXiv cs.LG / 2026/4/21

📰 ニュースIdeas & Deep AnalysisModels & Research

共有:

要点

ラベル付きのタスク特有ラベルがない状況を想定し、埋め込みモデルを特定のコーパス向けに選ぶためのタスク非依存評価手法としてFLAREを提案します。
FLAREは、距離ベースや密度推定ベースで高次元になると不安定になりがちな既存のラベルレス指標を避け、正規化されたストリームとログ尤度に基づいて情報充足度を推定します。
推定誤差にはデータの潜在的（本質的）次元が効き、埋め込み次元そのものには依存しにくいことを示す有限標本の誤差境界を提示しています。
11データセットと8つの埋め込み器での評価では、教師ありベンチマークでSpearmanのρ=0.90を達成し、さらに高次元埋め込み（d ≥ 3,584）でも安定性を維持した一方、既存のラベルレス基準は崩れたと報告されています。

概要: タスク固有のラベルが利用できない場合、特定のターゲットコーパスに対して埋め込みモデルを選択することが難しくなります。カーネル推定器やガウス混合に基づく既存のラベルなし指標は、高次元空間では機能せず、不安定なランキングにつながります。私たちは、正規化されたストリームを用いてログ尤度から情報充足性を直接推定し、距離ベースの密度推定を回避する、フローベースのラベルなし表現埋め込み評価（FLARE）を提案します。推定誤差が、元の埋め込み次元ではなくデータマニフォールドの固有次元に依存することを示す有限サンプルの境界を与えます。11のデータセットと8つの埋め込み手法において、FLAREは教師ありベンチマークでSpearmanの $ho$ が0.90に到達し、既存のラベルなしベースラインが破綻した高次元の埋め込み（ $d eq 3{,}584$ ）でも安定したままでした。