要旨: 近年の研究により、不正確なコードや文化的に負荷のかかった数値コードに対して大規模言語モデル（LLM）を微調整すると、創発的なミスアラインメントが生じ、無関係な下流タスクにおいて有害な内容を生成することがあることが示されました。これに関わった著者らは、その効果はkショットのプロンプトだけでは誘発されないと結論づけています。私たちはこの結論を改めて検討し、推論時の意味ドリフトが実在し、かつ測定可能であることを示します。ただし、それには十分に大きな能力を持つモデルが必要です。5つの文化的に負荷のかかった数値を、意味的に無関係なプロンプトの前に少数ショットのデモンストレーションとして注入する、制御された実験を行ったところ、文化的連想をより豊かに表現できるモデルでは、より暗く、権威主義的で、かつスティグマ（烙印）を伴うテーマへの有意な分布のシフトが見られました。一方で、より単純／より小型のモデルではそれが見られませんでした。さらに、構造的に不活性なデモンストレーション（ナンセンスな文字列）が出力分布を攪乱することも分かりました。これにより、2つの切り離されたメカニズム、すなわち「構造フォーマットの汚染」と「意味内容の汚染」が示唆されます。本研究は、推論時の汚染が生じる境界条件を整理し、少数ショットのプロンプトを用いるLLMベースのアプリケーションのセキュリティに対して直接的な含意をもたらします。
インコンテキスト・プライミングによる推論時セマンティック汚染（Emergent Inference-Time Semantic Contamination）
arXiv cs.CL / 2026/4/7
📰 ニュースSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、LLMが「推論時セマンティック汚染（inference-time semantic contamination）」を示し得ることを論じており、特定のfew-shot例を注入すると、その後の意味的に無関係なプロンプトにおいて、測定可能な分布シフトが生じるとされる。
- k-shotプロンプトのみでは不十分だという先行主張を再検討し、その効果が起こり得る一方で、それがモデルの能力に依存することを示す。より高機能なモデルほどドリフトが強くなる。
- 制御された設定で、文化的に負荷のかかった5つの数値をデモとして用いたところ、著者らは、高能力モデルではより暗く、権威主義的で、またスティグマ化されたテーマへのシフトが観測される一方、より単純／小規模なモデルでは有意な効果が見られないことを確認した。
- 本研究ではさらに、構造的に不活性なデモ（ナンセンス文字列）であっても出力分布を摂動し得ることを見出し、2つの機構――「構造・フォーマット汚染」と「意味内容の汚染」――が示唆される。
- 著者らは、汚染が生じる条件の境界を整理し、few-shotプロンプトに依存するLLMアプリケーションに対する直接的なセキュリティ上の含意を強調する。
