LLMを見ると、それらは、推論時に与えられた特定の前提、ルール、文脈に基づいて、一貫した推論の流れを生成し維持する構造として捉えられます。LoRAベースの継続的学習フェーズでは、前提が更新されるにつれて、古い情報と新しい情報の間の依存関係を絶えず再編する知識構造として働きます。
この観点から私は、推論性能の劣化と壊滅的忘却の問題が、実は同じコインの裏表なのではないかと疑い始めました。どちらかを解決すればもう一方も解決できるかもしれない、と感じ、それを試したうえで、2つの設定でこの考えを検証しました。
問題の核心は、どんな構造であれそれを保持するには、それを維持するために必要な特定の条件を満たさなければならない、という点です。
私はこれを構造的永続の最小モデルとして形式化し、その後2つの設定でテストしました。
LLM推論の劣化
この実験は、会話の中で矛盾する情報が蓄積されていくほど、LLMが論理的な推論を維持することがますます難しくなることを示しています。
それらの矛盾を外部で整理し—「以前に真だったもの」と「今は真であるもの」に分けて—提示すると、整理せずに放置した場合と比べて、性能が大きく安定しました。
言い換えると、要点は、破綻の原因はテキストの長さそのものではなく、未解決の矛盾が蓄積されていくことにあるのかもしれない、ということです。
LLMの壊滅的忘却
LLMに新しいことを教えると、古い知識を新しい情報で段階的に積み上げるというより、古い知識を上書きしてしまう傾向があります。基本的には上書き処理です。
前提が変わる更新では、その前提に依存している関連知識すべてを修正する必要があるため、モデルの首尾一貫性が大きく崩れます。
私たちの実験では、関連する知識をモデルにまとめて再学習させると結果がわずかに改善することが分かりました。しかし、以前の知識を完全にそのまま保ちながらモデルを更新することは、依然として非常に困難です。
私の見解では、これらの問題は、より良い学習テクニックだけでなく、アーキテクチャ自体を変えることで、大幅に軽減できる可能性があります。
---
英語が少し不自然ならすみません—これはもともと日本語で書かれました。
[link] [comments]
