MedSkillAudit：医療研究エージェントのスキルに向けたドメイン特化型監査フレームワーク

要旨: 背景: エージェントスキルは、AIエージェントシステムにおいて、モジュール化され再利用可能な能力ユニットとしてますます導入されている。医療研究エージェントスキルには、一般目的の評価を超えたセーフガードが必要であり、具体的には科学的健全性、方法論的妥当性、再現性、境界の安全性などが含まれる。本研究では、専門家によるレビューに対する信頼性を重視し、医療研究エージェントスキル向けの領域特化型監査（オーディット）フレームワークを開発し、予備的に評価した。 方法: 層状の枠組みとしてMedSkillAudit（skill-auditor@1.0）を開発し、展開（デプロイ）の前にスキルのリリース準備状態を評価した。医療研究の5つのカテゴリーにわたって75のスキルを評価した（カテゴリごとに15件）。2名の専門家が独立して、品質スコア（0-100）、序数的なリリースの方針（Production Ready / Limited Release / Beta Only / Reject）、および高リスク失敗フラグを付与した。システムと専門家の一致度は、ICC(2,1) と、線形重み付き Cohen のκにより定量化し、人間の評価者間ベースラインに対してベンチマークした。 結果: 平均のコンセンサス品質スコアは 72.4（SD = 13.0）であった。スキルの57.3%が Limited Release の閾値を下回った。MedSkillAudit は ICC(2,1) = 0.449（95% CI: 0.250-0.610）を達成し、人間の評価者間 ICC 0.300 を上回った。システムとコンセンサスのスコアの乖離（SD = 9.5）は、評価者間（専門家同士）の乖離（SD = 12.4）より小さく、方向性の偏りはなかった（Wilcoxon p = 0.613）。プロトコル設計（Protocol Design）はカテゴリ単位で最も強い一致（ICC = 0.551）を示した。アカデミック・ライティング（Academic Writing）では負の ICC（-0.567）が観測され、構造化されたルーブリックと専門家の評価との間に構造的なミスマッチが反映されたものと考えられる。 結論: 展開前の領域特化型監査は、科学的な利用シナリオに合わせて設計された、構造化された監査ワークフローによって一般目的の品質チェックを補完しつつ、医療研究エージェントスキルを統治するための実践的な基盤を提供し得る。