Mind the Prompt：LLMによるタスク計画の説明の自己適応的生成

arXiv cs.AI / 2026/4/25

📰 ニュースIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、LLMを複雑なソフトウェアシステムに統合することで自動タスク計画のような不透明なAIプロセスを人間が理解できる形で説明できる一方、その質と信頼性はプロンプトエンジニアリングに大きく依存すると主張している。
多様な利害関係者がどのようにプロンプトを作成・改善するかについての体系的理解が不足していることが、プロンプト作成の自動化を妨げている点を指摘している。
著者らはCOMPASSを提案しており、プロンプトエンジニアリングを認知的かつ確率的な意思決定として形式化する自己適応アプローチの概念実証である。
COMPASSはPOMDPに基づき、注意・理解・不確実性などのユーザの潜在的な認知状態を、相互作用の手がかりから推定し、説明の生成とプロンプトの反復的な改善を適応的に行えるようにする。
サイバーフィジカルシステムの2つの事例での評価により、COMPASSが複雑なタスク計画における自動プロンプト合成へ、人間の認知とユーザーフィードバックを取り込める実現可能性を示した。

要旨: 大規模言語モデル（LLM）を複雑なソフトウェアシステムに統合することで、自動タスク計画のような、判然としないAIプロセスに対して、人間が理解できる説明を生成できるようになります。しかし、これらの説明の品質と信頼性は、効果的なプロンプトエンジニアリングに大きく依存します。多様な利害関係者グループがプロンプトをどのように構築し、どのように洗練していくのかについての体系的な理解が欠けていることが、このプロセスを自動化できるツールの開発を妨げています。本研究では、COMPASS（COgnitive Modelling for Prompt Automated SynthesiS）を提案します。これは、プロンプトエンジニアリングを認知的かつ確率的な意思決定プロセスとして形式化する、概念実証の自己適応型アプローチです。COMPASSは、注意や理解といった観測されないユーザの潜在的な認知状態、不確実性、ならびに観測可能な相互作用の手がかりをPOMDPとしてモデル化し、これにより合成された方策（ポリシー）が、説明の適応的な生成およびプロンプトの洗練を可能にします。COMPASSは、適応的な説明生成とそれらの質を評価するために、2つの多様なサイバーフィジカルシステムの事例研究を用いて、定量的および定性的の両面から検証します。その結果、複雑なタスク計画システムにおいて、人間の認知とユーザプロファイルのフィードバックを、プロンプト合成の自動化に統合することの実現可能性が示されました。