マルチモーダルデータ収集におけるLLM駆動トリガー生成のためのドメイン固有言語

要旨: データ駆動型システムはタスクに関連するデータに依存しますが、データ収集パイプラインは依然として受動的かつ無差別です。マルチモーダル・センサーストリームの継続的なログ取得は高いストレージコストを招き、無関係なデータを取り込んでしまいます。本論文は、高レベルのユーザー要求に基づいてマルチモーダル・センサーデータを選択的に収集できる、意図駆動型のオンデバイス・データ収集のための宣言的フレームワークを提案します。このフレームワークは、自然言語による対話と、形式的に指定されたドメイン固有言語（DSL）とを組み合わせます。大規模言語モデルは、ユーザーが定義した要求を検証可能で合成可能なDSLプログラムへと変換し、カメラ、LiDAR、システムのテレメトリといった異種センサーにまたがって条件付きトリガーを定義します。車両およびロボットの知覚タスクに対する実証評価では、このDSLベースのアプローチが、制約のないコード生成よりも生成の一貫性が高く、実行レイテンシが低いことが示されました。一方で、検出性能は同等に維持されています。この構造化された抽象化により、モジュール的なトリガー合成と、リソース制約のあるエッジ・プラットフォーム上での並行デプロイが可能になります。本アプローチは、受動的なログ取得を、リアルタイムシステムにおけるマルチモーダル・データ収集のための、検証可能で意図駆動型の仕組みに置き換えます。