やあみんな、私は独立した研究者で、LLMや埋め込みベースの分類器における非常に特定の失敗モードに対処しようとするプロジェクトに取り組んでいます。具体的には、システムが「見慣れたデータ」(それに近い変化を見たことがある)と「新規のノイズ」を確実に区別できない、という問題です。
このプロジェクトの中核となる考え方は、単一の確率ベクトル(P(class|input))から、二値出力ではなくデュアル出力のシステムへ移行し、μ(x)という連続的な親しみ度スコアを測ることです。μ(x)は[0,1]に収まるスコアで、集合被覆(set coverage)の公理から導出されます。
詳細な論文はGitHubで公開されています: https://github.com/strangehospital/Frontier-Dynamics-Project/blob/c84f5b2a1cc5c20d528d58c69f2d9dac350aa466/Frontier%20Dynamics/Set%20Theoretic%20Learning%20Environment%20Paper.md
MLモデル: https://just-inquire.replit.app --> 自律学習システム
ここに投稿している理由:
独立研究者として、ラボのような日々の突っ込み/フィードバックや、指導教員からの助言がありません。もちろん、それによって研究にバイアスが入り込む状況が生まれやすくなります。この論文では、連続学習エージェント上で動かした際に遭遇した現実の失敗モードに基づいて、3つの主要な改訂を詳述しています。具体的には、この論文は次の課題に取り組んでいます:
- 飽和バグ(Saturation Bug):高次元空間で学習サンプルが増えるにつれて、μ(x)があらゆる入力に対して1.0へ収束してしまう現象。
- 次元の呪い(Curse of Dimensionality):384次元空間での素朴な密度推定が、「近さ(closeness)」という考え方をなぜ壊してしまうのか。
私は、この研究をPAC-Bayesの収束証明に基づかせようと試み、約17k(約1.7万)のトピック知識ベースを持つMLモデル(「MarvinBot」)で検証しました。
もし誰か時間があれば論文に目を通してもらえないでしょうか。容赦ない批判に感謝します。どうぞ論文を遠慮なく焼き払ってください。個人攻撃はなしで、資料の中身にだけ集中してください。特に次の点についての考えを聞きたいです:
--> 飽和バグ
--> v3で使われている、エビデンスでスケールしたマルチドメインのディリクレ(Dirichlet)アクセシビリティ関数を使う以外に、より単純な解決策があるか
--> 私が見落としていた可能性のある、ケース(エッジケース)や失敗
私はスターや引用を求めていません。研究に関する、現実のチェック(冷静な現状確認)だけが欲しいのです。
注: リポジトリには、飽和バグと、(必要なら)主要論文を飛ばして読める証明に関するv3の技術レポートもあります。
[link] [comments]




