AgenticAI-DialogGen：LLMの短期・長期メモリを微調整および評価するためのトピック誘導型会話生成

要旨: 大規模言語モデル（LLM）の最近の進歩により、拡張された会話文脈を処理する能力は向上しています。しかし、短期・長期のメモリを微調整し評価することは、短期および長期の会話履歴の両方を符号化するデータセットが存在しないため、依然として困難です。既存の会話データセットは、メモリに基づく根拠を欠いている、話題の連続性を見落としている、または高コストな人手による注釈に依存している、といった課題があります。これらの不足を解消するために、人間の監督なしでペルソナに基づきつつ話題に誘導された会話を生成する、モジュール式のエージェントベースフレームワーク AgenticAI-DialogGen を提案します。このフレームワークは、LLMエージェントを用いて知識グラフを抽出し、トピックを特定し、話し手のペルソナを構築し、非構造化された会話から話題に誘導された会話をシミュレートします。QAモジュールは、短期および長期の会話履歴から導出されるメモリに根ざした質問応答（QA）ペアを生成します。また、話題に誘導された新しいデータセット TopicGuidedChat（TGC）も作成しました。ここでは、長期メモリは話し手固有の知識グラフとして符号化され、短期メモリは新たに生成された話題に誘導された会話として表されます。評価の結果、AgenticAI-DialogGen は会話の質をより高く生成でき、さらに TGC データセットで微調整された LLM は、メモリに根ざした QA タスクにおいて改善された性能を達成することが示されています。