CAN-QA：車載CANトラフィックの推論に基づく質問応答ベンチマーク

Abstract

コントローラ・エリア・ネットワーク（CAN）は、安全性が重要な車載通信プロトコルであるにもかかわらず、組み込みのセキュリティ機構を欠いているため、不正侵入検知が不可欠です。既存の手法の多くは、CAN の侵入検知を分類タスクとして定式化し、複雑なトラフィックパターンを攻撃ラベルへと対応づけます。しかし、この定式化は CAN トラフィックの時間的・関係的構造を抽象化してしまい、実世界のフォレンジック（鑑識）ワークフローに適合しません。実際の鑑識作業では、トラフィック挙動について体系的な推論が必要です。このギャップに対処するため、私たちは CAN-QA を提案します。CAN-QA は、CAN トラフィック分析を質問応答（QA）タスクとして再定式化する最初のベンチマークです。CAN-QA は、生の CAN ログを時間的に区切られたウィンドウへ変換し、決定的なルールベースのテンプレートを適用して、自然言語の質問と、自動的に導出される正解（ground-truth answers）を組にします。その結果、データセットは 10 カテゴリにまたがる 33,128 の QA ペアで構成され、各カテゴリが CAN トラフィックの異なる意味的特性と時間的特性を対象としています。CAN-QA を用いて、True/False 形式と複数選択肢形式の両方で、大規模言語モデルを評価します。結果は、これらのモデルが表面的な統計的規則性は捉えられる一方で、時間的推論、多条件推論、そしてより高次の挙動解釈が難しいことを示しています。コードは https://github.com/Kriiiiss/CAN-QA で公開しています。