Knows：エージェントネイティブな構造化リサーチ表現

Abstract

研究成果のアーティファクトは、主にPDFのような読者向けドキュメントとして配布されます。これにより、ますますエージェント支援型およびエージェントネイティブな研究ワークフローにおいてボトルネックが生じます。この種のワークフローでは、LLMエージェントが長大な全文ドキュメントから、きめ細かなタスクに関連する情報を推論する必要がありますが、この処理はコストが高く、反復的で、大規模環境では不安定です。 私たちはKnowsを提案します。これは軽量なコンパニオン仕様であり、既存の研究アーティファクトに対して、構造化された主張（claims）、根拠（evidence）、出所（provenance）、検証可能な関係（verifiable relations）を、LLMエージェントがそのまま直接利用できる形で結び付けます。Knowsは、元のPDFと共存する薄いYAMLサイドカー（KnowsRecord）によってこのギャップを埋めます。出版物自体の変更は不要で、決定論的なスキーマリンタによって検証されます。私たちは、14の学術分野にまたがる20本の論文に対し、140の理解度質問でKnowsを評価し、PDFのみ、サイドカーのみ、およびハイブリッド条件を、能力の異なる6つのLLMエージェントで比較しました。弱いモデル（0.8B--2Bパラメータ）は、PDFを読む場合の19--25\%から、サイドカーを読む場合は47--67\%へと改善します（+29〜+42パーセンテージポイント）。また、入力トークン使用量は29--86\%少なくなります。さらに、LLMをジャッジとして用いた再スコアリングにより、弱いモデルのサイドカー精度（75--77\%）が、より強いモデルのPDF精度（78--83\%）に近づくことが確認されます。この統制された評価の範囲を超えて、https://knows.academy/ にあるコミュニティのサイドカーハブは、すでに10,000本以上の出版物をインデックスしており、日々成長を続けています。これは、このフォーマットが大規模な普及に向けて採用可能であることを示す独立した証拠です。