要約: 科学文献の急速な成長により、構造化された知識の手動抽出はますます実用的でなくなっています。
この課題に対処するため、科学文献からデータセットを作成するためのシステムであるSCILIREを導入します。SCILIREは、データの検証とキュレーションのワークフローを中心とした、ヒューマン-AIの協働原則のもとに設計されています。
それは、研究者がAIの出力をレビューして修正できる反復的なワークフローを促進します。
さらに、この相互作用は、将来のLLMベースの推論を改善するためのフィードバック信号として利用されます。
複数の領域にわたる実世界のケーススタディと内部ベンチマークの結果の組み合わせを用いて、設計を評価します。
結果は、SCILIREが抽出の忠実度を向上させ、効率的なデータセット作成を促進することを示しています。
SCILIREシステムを用いた人間-AI協働による科学データセットの作成とキュレーション
arXiv cs.CL / 2026/3/16
📰 ニュースTools & Practical UsageModels & Research
要点
- 本論文は、科学文献からデータセットを作成するSCILIREシステムを提案し、人間とAIの協働を用いてデータを検証・キュレーションする。
- 本システムは、研究者がAIの出力をレビューし修正する反復的なワークフローを可能にし、修正を将来のLLMベース推論の改善にフィードバックとして活用します。
- 評価は、内在的ベンチマークと複数のドメインにまたがる実世界のケーススタディを組み合わせることで、抽出忠実度の向上とデータセット作成の効率化を実証しています。
- 本研究は、ヒューマン・イン・ザ・ループのフィードバックが、科学知識ベースのAI支援データ抽出を継続的に改善することを示しています。
