要旨: 人同士の会話におけるトラブルの解消に重要なリソースである「修復（repair）」は、人とLLMの相互作用においては十分に研究されていません。本研究では、解ける数学の問題および解けない数学の問題をめぐる複数ターンの対話において、LLMが修復の対話的プロセスにどのように関与するのかを調査します。モデルが自ら修復を開始するかどうか、またユーザーが開始した修復にどのように応答するかを検討します。その結果、モデル間で強い違いがあることが分かりました。反応は、（適切な）修復の試みに対してほぼ完全に抵抗するものから、非常に影響を受けやすく操作されやすいものまで幅があります。さらに、会話が1ターンを超えると、モデルのふるまいがより特徴的になり、システム間での予測可能性が低下することを示します。全体として、本研究の知見は、検証した各LLMが修復の文脈において、それぞれ独自の特性をもった信頼性の低さ（unreliability）を示すことを示しています。
「知ったかぶりGPT」と「第二の推測者Claude」？ LLMのマルチターン挙動における修復（リペア）不安定性をRepairで明らかにする研究
arXiv cs.CL / 2026/4/22
💬 オピニオンModels & Research
要点
- 本研究は、解ける／解けない数学問題を用いたマルチターン対話において、LLMが「修復（repair）」をどう扱うかを調べ、モデル主導の修復とユーザー主導の修復の両面を比較します。
- 結果として、LLMごとに性能の差が非常に大きく、適切な修復にほとんど抵抗するものから、過度に影響を受けやすく操作にも簡単に誘導されるものまで幅があります。
- 1ターンを超えて会話が続くほど、モデルのふるまいはシステムごとにより特徴的になり、予測しにくくなっていきます。
- 論文は、検証した各LLMが「修復」に関わる文脈で固有の種類の不確実さ（信頼性の揺らぎ）を持つと結論づけています。
