大規模言語モデルが生成したフィードバックに対する教師の修正を理解する
arXiv cs.CL / 2026/3/31
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、117名の教師が大規模言語モデル（LLM）の形成的フィードバックをどのように修正するかを調査し、AI生成フィードバックと教師が編集した説明の1,349件の対応ペアを分析する。
- 教師はAIのフィードバックをそのまま受け入れることが約80%の割合である一方、修正は下書き段階では典型的により長くなり、その後教師によって短縮されることが多い。
- 教師ごとの修正行動は非常に不均一であり、約半数は一度も編集せず、2/3を超える件数を編集するのは全体の約10%にとどまる。
- AIフィードバック本文のみを用いるモデルは、教師が修正するかどうかを適度な精度で予測できる（AUC = 0.75）。これは、元のテキストから修正の兆候が検出可能であることを示唆する。
- 教師が修正する場合、彼らはAIフィードバックを単純化することが多く、高情報量の説明から、教師の優先事項により適合した、より簡潔で修正（訂正）を促すタイプのフィードバックへとシフトさせる。
