会話ツリー・アーキテクチャ：コンテキストに応じたマルチブランチLLM会話のための構造化フレームワーク

Abstract

大規模言語モデル（LLM）は、拡張された複数トピックの会話に対してますます広く導入されているが、現在の会話インターフェースが持つ平坦で追記のみの構造には、根本的な制約がある。すなわち、すべての文脈（コンテキスト）が無制限に単一のウィンドウへ蓄積され、その結果、トピック的に異なるスレッド同士が互いに混ざり合い、応答品質が段階的に低下してしまう。私たちはこの失敗モードを論理的コンテキスト汚染（logical context poisoning）と呼ぶ。本論文では、Conversation Tree Architecture（CTA）を導入する。これは、LLMの会話を、離散的で文脈が隔離されたノードの木（ツリー）として整理する階層的な枠組みである。各ノードはそれぞれ独自のローカルな文脈ウィンドウを保持する。文脈が親ノードと子ノードの間でどのように流れるかについては、分岐（ブランチ）作成時の下流方向への伝播と、分岐削除時の上流方向への伝播を制御する、構造化された仕組みがある。さらに、揮発性ノード（volatile nodes）も導入する。これは一時的な分岐であり、そのローカル文脈は、パージ（消去）される前に、選択的に上方へ統合するか、あるいは恒久的に破棄しなければならない。私たちは、アーキテクチャの基本要素を形式化し、文脈フローにおける未解決の設計課題を特徴づけ、LLMのメモリ管理に関する先行研究との関連を示し、動作するプロトタイプ実装について説明する。CTAは、構造化された会話文脈管理のための原理に基づく基盤を提供し、マルチエージェント環境へ自然に拡張できる。