概要: 大規模言語モデルは、すでに理解しているように見えるタスクで失敗することがよくあります。我々の実験では、これは知識が欠けていることよりも、推論中に特定の内部回路が強く活性化されていないことに起因しているように見えます。そこで、モデルのパラメータを変更せずに、タスクに関連するニューロンの影響力を高めるSelective Neuron Amplification（選択的ニューロン増幅）を検討します。この手法は推論時に機能し、モデルを恒久的に変更しません。SNAは主にモデルが不確実なときに役立ち、モデルがすでに確信しているときには効果が小さくなります。これは、モデルの一部の失敗が、能力の欠如ではなく弱い活性化によるものであることを示唆しています。
トレーニング不要のタスク強化のための選択的ニューロン増幅
arXiv cs.LG / 2026/4/9
📰 ニュースSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、モデルが「理解できるはず」のタスクにおいて失敗する原因が、知識の欠如というよりも、推論時に内部回路が十分に活性化されていないことにあると主張している。
- それによって、モデルのパラメータを変更せずに、タスクに関連するニューロンの影響を増幅する推論時手法であるSelective Neuron Amplification（SNA）を提案する。
- 著者らは、SNAがモデルの不確実性が高いときに最も有効であり、モデルがすでに確信している場合には効果が限定的であると報告している。
- これらの結果は、再学習や微調整ではなく、活性の強さを操作することで、トレーニング不要の性能向上への道筋を示唆している。
