BiMind：不正確な情報の検出のための注意ジオメトリ・アダプタを備えたデュアルヘッド推論モデル
arXiv cs.CL / 2026/4/8
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文では、内容内部の検証と知識拡張型推論をそれぞれ別に扱うデュアルヘッド推論モデルであるBiMindを提案し、不正確な情報の検出をより適切に行うことを目的とする。
- 注意ログitを、トークンに条件付けされたオフセットで再形成するattention-geometry adapterを提案し、注意の崩壊（collapse）を抑えて推論の安定性を向上させる。
- BiMindは、kNN検索によって構築したドメイン内セマンティックメモリを用いる自己検索（self-retrieval）知識メカニズムを追加し、取得した近傍をフィーチャごとの線形変調（feature-wise linear modulation）で注入する。
- この手法は、エントロピーでゲートされた融合（entropy-gated fusion）と学習可能なアグリーメントヘッドによる不確実性対応型融合を用い、対称なカルバック–ライブラー（Kullback-Leibler）項で正則化することで頑健性を高める。
- 新しい評価指標としてValue-of-eXperience（VoX）を定義し、取得した知識がロジットにどれだけ寄与するかを定量化するとともに、解釈可能な診断を提供する。
