知識グラフと大規模言語モデルを用いた、解釈可能な難易度推定に基づく複数選択式(MCQ)知識問題の生成

arXiv cs.CL / 2026/4/14

💬 オピニオンIdeas & Deep AnalysisModels & Research

要点

  • 本論文は、入力文書から複数選択式問題(MCQ)を生成しつつ、各問題の難易度を推定する手法を提示する。
  • 大規模言語モデル(LLM)を用いて文書から知識グラフ(KG)を構築し、その後、KGのノードを選択し、関連するトリプル/クイントゥプルをサンプリングし、LLMにプロンプトしてMCQの本文(stem)を作成することでMCQを生成する。
  • 誤答選択肢(distractors)は同じ知識グラフから選ばれるため、正答の選択肢と問題文の作り方の両方が、構造化された表現に結び付けられる。
  • 難易度推定のために、9種類の別々の難易度シグナルを計算し、それらを単一の統合スコアへとデータ駆動的に組み合わせる。
  • 実験結果から、生成されたMCQは高品質であり、難易度推定も人間の判断と整合的で解釈可能であることが示され、自動MCQ生成を適応的教育に向けて改善できる。

要旨: 多肢選択問題(MCQ)を難易度推定とともに生成することは、適応的なAI支援教育で用いられる自動MCQ生成システムにおいて、依然として困難です。本研究では、知識グラフ(KG)と大規模言語モデル(LLM)を利用して、入力ドキュメントから難易度推定付きのMCQを生成するための新しい手法を提案します。提案手法では、LLMを用いて入力ドキュメントからKGを構築し、そこからMCQを体系的に生成します。各MCQは、KG上のノードを鍵として選択し、関連する三つ組または五つ組をサンプリングし(必要に応じて追加の三つ組で拡張します)、これらのグラフ要素に基づく対応するステムを生成するようにLLMへプロンプトすることで生成されます。その後、誤答選択肢(distractors)はKGから選択されます。各MCQについて9つの難易度シグナルを計算し、データ駆動型のアプローチによって統一的な難易度スコアへと統合します。実験結果は、提案手法が高品質なMCQを生成し、その難易度推定が解釈可能であり、また人間の認識と整合することを示しています。本手法は、構造化された知識表現とLLM、さらにデータ駆動型の難易度推定モデルを統合することで、自動MCQ生成を改善します。

知識グラフと大規模言語モデルを用いた、解釈可能な難易度推定に基づく複数選択式(MCQ)知識問題の生成 | AI Navigate