BatteryPass-12K：新しいデジタル・バッテリー・パスポート適合性タスクのための初のデータセット

要旨: デジタル・バッテリー・パスポート（DBP）の適合（コンフォーマンス）分類という新しいタスクを提案し、同タスクに対する最初の公開ベンチマークとして、実際のパイロット・サンプルから合成して作成したBatteryPass-12Kを紹介します。DBPに関するEUのバッテリー規制が間もなく施行される一方で、公開データセットが存在しません。私たちは、ゼロショット推論において22の言語モデル（LM）を評価し、小規模LM（SLM）、mixture of experts（MoE）、密なLM（dense LLM）を幅広く対象としました。また、分析に加えて、少数ショット推論およびプロンプト・インジェクション攻撃も実施し、その結果、(1) 思考（Thinking）モデルが最も高い性能を示し（検証セットとテストセットで平均としてF1により、それぞれGPT-5.4が0.98（0.03）および0.71（0.22）、さらに95%の信頼区間を伴う）、(2) 少数ショットの例は性能を大幅に向上させ、(3) 一般に高性能な最先端モデルでもこのタスクは難しく、(4) 単にモデルのパラメータ数をスケールするだけでは必ずしも性能向上につながらず、SLMが一部のLMを上回り、そして(5) プロンプト・インジェクション攻撃により性能が低下することを見出しました。BatteryPass-12Kは実際のパイロット・サンプルに限定されているものの、バッテリー領域における他の既知または新興タスク、たとえばライフサイクル推論に対して有用である可能性があります。私たちは、緩やかなライセンス（CC-BY-4.0）の下でデータセットを公開します。