オープン/クローズド双方のLLMを用いたLLM生成コンピテンシー質問の特徴付け：領域横断の実証研究
arXiv cs.AI / 2026/4/20
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- オントロジー工学における要件抽出の中核であるコンピテンシー質問（CQ）は、生成AIにより大規模生成が可能になった一方で、生成されるCQの性質をLLMごとに理解する必要があると示している。
- 本研究は、CQを読みやすさ、入力テキストとの関連性、構造的複雑さといった観点で定量的に比較するための尺度を提案している。
- 定義済みのユースケースとシナリオからCQを生成し、オープンモデル（KimiK2-1T、LLama3.1-8B、LLama3.2-3B）およびクローズドモデル（Gemini 2.5 Pro、GPT 4.1）にわたって評価を行った。
- 結果として、LLMはそれぞれ異なる「生成プロファイル」を持ち、性能はユースケースに応じて変化することが示されている。
- 総じて、本論文はLLM生成CQの観測可能な特徴を領域横断で理解するための実証的な枠組みを提供し、より信頼性の高いオントロジー工学を支えることを狙っている。
