要求工学におけるLLMベースの目標抽出の評価：プロンプト戦略とその限界

アブストラクト: 多くの要求工学（RE）成果物は、そのテキスト的で反復的な性質ゆえに、大規模言語モデル（LLM）がそれらの生成および処理を自動化するのに有用であることが示されています。本論文では、3つのフェーズ――アクター同定、高レベルおよび低レベルの目標抽出――を通じてソフトウェア文書から機能目標を抽出することで、目標指向要求工学（GORE）プロセスを自動化するための可能なアプローチを議論します。これらの機能を実装するために、設計されたプロンプトを入力として与えるLLMの連鎖を提案します。私たちは、インコンテキスト学習のさまざまな変種を試し、入力データとインコンテキスト例との類似度を測定することで、その影響をより深く調べました。もう一つの重要な要素は、2つのLLMを用いたフィードバックループとして実装した生成-批評（generation-critic）メカニズムです。パイプラインは低レベル目標の同定において61%の精度を達成しましたが、これらの結果は、本アプローチが完全な代替ではなく、手作業による抽出を加速するためのツールとして最も適していることを示唆しています。フィードバックループ機構はZero-shotによって、単独のFew-shotを上回りました。アブレーション研究では、フィードバックサイクルがないと性能がわずかに低下することが示唆されました。ただし、フィードバックメカニズムとFew-shotの組み合わせは何の利点ももたらさないことを私たちは報告しました。これは、主たる性能の上限が「critic」LLMに適用したプロンプト戦略にある可能性を示しています。さらに、Shot例の量と質の両方を洗練させることに加えて、今後の研究では、精度を向上させるためにRetrieval-Augmented Generation（RAG）およびChain-of-Thought（CoT）プロンプトを統合する予定です。