オープンセット認識(新規性検出)に関する研究アプローチへの批評を求める[R]

Reddit r/MachineLearning / 2026/4/16

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

要点

  • 独立した研究者が、LLMおよび埋め込みベース分類器に対するオープンセット認識/新規性検出の論文について、「容赦ない」技術的な批評を求めています。具体的には、既知データと未知のノイズを区別することに重点を置いています。
  • 提案手法は、単一のクラス確率出力を置き換え、集合被覆(セットカバレッジ)の公理に基づいて、連続的な馴染み度スコア μ(x)([0,1]の範囲)を推定するデュアル出力設計を採用します。
  • 本研究では、「飽和バグ」(saturation bug)として、学習が進むにつれてほとんどの入力に対して μ(x) が 1.0 に収束してしまう失敗モードや、非常に高次元(例:384次元)空間で素朴な密度の概念が破綻することに起因する次元性関連の問題に対処したと報告しています。
  • 研究者は、この手法を PAC-Bayes の収束証明に基づけること、および約17kトピックの知識ベースを持つモデル(「MarvinBot」)を用いて検証することを参照しています。
  • 審査者に対し、エビデンスにスケールされたマルチドメイン・ディリクレ(Dirichlet)のアクセシビリティ関数(v3)に代わるより単純な代替案があるかどうかを具体的に評価し、見落とされているエッジケースや失敗条件を特定することを求めています。

やあみんな、私は独立した研究者で、LLMや埋め込みベースの分類器における非常に特定の失敗モードに対処しようとするプロジェクトに取り組んでいます。具体的には、システムが「見慣れたデータ」(それに近い変化を見たことがある)と「新規のノイズ」を確実に区別できない、という問題です。

このプロジェクトの中核となる考え方は、単一の確率ベクトル(P(class|input))から、二値出力ではなくデュアル出力のシステムへ移行し、μ(x)という連続的な親しみ度スコアを測ることです。μ(x)は[0,1]に収まるスコアで、集合被覆(set coverage)の公理から導出されます。

詳細な論文はGitHubで公開されています: https://github.com/strangehospital/Frontier-Dynamics-Project/blob/c84f5b2a1cc5c20d528d58c69f2d9dac350aa466/Frontier%20Dynamics/Set%20Theoretic%20Learning%20Environment%20Paper.md

MLモデル: https://just-inquire.replit.app --> 自律学習システム

ここに投稿している理由:
独立研究者として、ラボのような日々の突っ込み/フィードバックや、指導教員からの助言がありません。もちろん、それによって研究にバイアスが入り込む状況が生まれやすくなります。この論文では、連続学習エージェント上で動かした際に遭遇した現実の失敗モードに基づいて、3つの主要な改訂を詳述しています。具体的には、この論文は次の課題に取り組んでいます:

  1. 飽和バグ(Saturation Bug):高次元空間で学習サンプルが増えるにつれて、μ(x)があらゆる入力に対して1.0へ収束してしまう現象。
  2. 次元の呪い(Curse of Dimensionality):384次元空間での素朴な密度推定が、「近さ(closeness)」という考え方をなぜ壊してしまうのか。

私は、この研究をPAC-Bayesの収束証明に基づかせようと試み、約17k(約1.7万)のトピック知識ベースを持つMLモデル(「MarvinBot」)で検証しました。

もし誰か時間があれば論文に目を通してもらえないでしょうか。容赦ない批判に感謝します。どうぞ論文を遠慮なく焼き払ってください。個人攻撃はなしで、資料の中身にだけ集中してください。特に次の点についての考えを聞きたいです:

--> 飽和バグ

--> v3で使われている、エビデンスでスケールしたマルチドメインのディリクレ(Dirichlet)アクセシビリティ関数を使う以外に、より単純な解決策があるか

--> 私が見落としていた可能性のある、ケース(エッジケース)や失敗

私はスターや引用を求めていません。研究に関する、現実のチェック(冷静な現状確認)だけが欲しいのです。

注: リポジトリには、飽和バグと、(必要なら)主要論文を飛ばして読める証明に関するv3の技術レポートもあります。

submitted by /u/CodenameZeroStroke
[link] [comments]