電子設計自動化におけるRAGファインチューニングでのパラメトリック知識とリトリーバル挙動
arXiv cs.CL / 2026/3/25
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、電子設計自動化（EDA）における長文生成タスクに対して、7Bモデルを用い、複数のコンテキスト拡張およびリトリーバル条件の下でRAG（retrieval-augmented generation：検索拡張生成）のファインチューニングがどのように振る舞うかを調査する。
- 各生成された主張をその起源（クエリ、コンテキスト、参照）まで追跡する、人手で検証された「トリプルベースの評価パイプライン」TriFEXを提案し、さらに、内部で学習された知識とプロンプト漏えいによる内容を分離するParametric Knowledge Precision（PKP）を導入する。
- 著者らは、ROUGEやBERTScoreのような一般的な自動評価指標では、TriFEX／PKPがRAG出力において明らかにする事実の相違を、確実に検出できないことを見出した。
- さらに、既存の「knowledge internalization（知識の内面化）」指標は概ねリトリーバルに敏感であり、条件間の分散の約75%は、PKPで測定される正確性の変化よりも、内部知識が表現される頻度の変化に由来することを示す。
- 実験結果では、ファインチューニングした7Bバリアントが、ほとんどの指標において72Bのベースラインを上回り、条件をまたいで汎化できることが示される。これにより、専門用途のRAGワークロードに対して小型でコスト効率のよいオンプレミス展開が実現可能であることが支持される。
