MemGuard-Alpha：メンバーシップ推論とクロスモデルの不一致により、LLMベースの金融予測における記憶（memorization）汚染された信号を検出・フィルタリングする

arXiv cs.LG / 2026/3/31

📰 ニュースSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

要点

MemGuard-Alphaは、LLMベースの金融予測において先読みバイアス（look-ahead bias）を引き起こし得る、記憶（memorization）汚染された信号を検出・除去するための、ゼロコストの生成後（post-generation）フレームワークとして提示される。
この手法は、複数のメンバーシップ推論攻撃のシグナルを時間的近接（temporal proximity）特徴とともに集約するMemGuard Composite Score（MCS）と、異なるLLM間で学習打ち切り日（training cutoff date）の違いを活用して記憶された出力を検出するCross-Model Memorization Disagreement（CMMD）を組み合わせる。
7つのLLM、S&P 100の50銘柄、2019〜2024年の42,800プロンプトに対する実験では、フィルタリング後に取引パフォーマンスが大幅に改善したことが示される。具体的にはSharpe比が（4.11 vs 2.76）と向上し、「クリーン」信号における平均日次リターンが大きくなる。
論文は明確な記憶のシグネチャを報告している。すなわち、汚染が増えるにつれてインサンプル精度は上昇する一方、アウト・オブ・サンプル精度は低下する。このことは、記憶が見かけのモデル性能を不当に押し上げることを直接的に示している。
著者らは、再学習や入力の匿名化といった従来の対策はコストが高い、または情報を失わせるとしており、MemGuard-Alphaを、量的（quantitative）戦略のための実用的なリアルタイム・フィルタリング手段として位置付けている。

Abstract

大規模言語モデル（LLM）は金融アルファ・シグナルの生成にますます利用されていますが、増え続ける証拠は、LLMが学習コーパスから過去の金融データを記憶してしまい、その結果として、サンプル外では崩れてしまう見かけ上の予測精度（不正な精度）を生み出していることを示しています。この記憶（memorization）に起因する先読みバイアスは、LLMベースの定量戦略の妥当性を脅かします。既存の対策――モデル再学習と入力の匿名化――は、いずれもコストが過大であるか、あるいは大きな情報損失をもたらします。現時点で、リアルタイム取引のための実用的なゼロコストのシグナル・レベル・フィルタリングを提供する既存手法はありません。我々は、生成後の枠組みであるMemGuard-Alphaを導入します。これは2つのアルゴリズムから構成されます：（i）MemGuard Composite Score（MCS）で、5つのメンバーシップ推論攻撃（MIA）手法を、ロジスティック回帰による時間的近接性の特徴量と組み合わせ、汚染分離に対してCohenのd = 18.57（MIA特徴量のみを用いた場合はd = 0.39-1.37）を達成します；および（ii）Cross-Model Memorization Disagreement（CMMD）で、LLM間で学習打ち切り日が異なることを利用して、記憶されたシグナルと真正の推論によるシグナルを切り分けます。7つのLLM（124M〜7Bパラメータ）、50銘柄のS&P 100、42,800のプロンプト、5.5年間（2019-2024）にわたる5つのMIA手法に対して評価したところ、CMMDはフィルタリングなしのシグナルに対してSharpe比 4.11であり、2.76（49%の改善）を上回りました。クリーンなシグナルでは平均日次リターンが14.48 bpsであるのに対し、汚染されたシグナルでは2.13 bpsです（7倍の差）。注目すべき交差（クロスオーバー）のパターンが現れます。すなわち、汚染が増えるにつれてサンプル内精度は40.8%から52.5%へと上昇する一方で、サンプル外精度は47%から42%へと低下し、記憶が一般化能力を犠牲にして見かけ上の精度を膨らませることの直接的な証拠が示されます。