AOP-Smart：有害転帰経路（AOP）解析のためのRAG強化型大規模言語モデルフレームワーク

概要: 有害転帰経路（Adverse Outcome Pathways: AOPs）は、毒性学研究およびリスク評価における重要な知識フレームワークである。近年、大規模言語モデル（LLMs）は、AOPに関連する質問応答やメカニズム推論のタスクに徐々に適用されてきた。しかし、幻覚（ハルシネーション）の問題、すなわちモデルが事実と矛盾する内容を生成したり、証拠が欠けていたりする可能性があるため、その信頼性は依然として限定的である。 この課題に対処するため、本研究ではAOP指向のリトリーバル拡張生成（Retrieval-Augmented Generation: RAG）フレームワークであるAOP-Smartを提案する。AOP-Wikiの公式XMLデータに基づき、この手法はキーイベント（Key Events: KEs）、キーイベント関係（Key Event Relationships: KERs）、および特定のAOP情報を用いてユーザの質問に関連する知識を検索し、それによって大規模言語モデルが生成する結果の信頼性を向上させる。提案手法の有効性を評価するため、本研究ではKEの同定、上流および下流のKE検索、複雑なAOP検索タスクを含む、AOP関連の質問応答タスクからなる20件のテストセットを構築した。実験は、Gemini、DeepSeek、ChatGPTの3つの主要な大規模言語モデルで行い、2つの設定、すなわちRAGなしとRAGありのもとで比較テストを実施した。 実験結果によれば、RAGを用いない場合、GPT、DeepSeek、Geminiの精度はそれぞれ15.0\%、35.0\%、20.0\%であった。RAGを用いた後は、それぞれ95.0\%、100.0\%、95.0\%に向上した。これらの結果は、AOP-SmartがAOP知識タスクにおける大規模言語モデルの幻覚問題を大幅に緩和し、回答の精度と一貫性を大きく改善できることを示している。