愚かな質問はありません：トルコの視点からみたオフラインLLM能力の評価

要旨: 大規模言語モデル（LLMs）を教育プロセスへ統合することは、データプライバシーと信頼性に関して重大な制約をもたらします。特にトルコ祖語教育のような教育的に脆弱な文脈ではなおそうです。本研究は、トルコ祖語教育の文脈で、 locally deployable offline LLMs の頑健性と教育的安全性を体系的に評価することを目的とします。そのために、モデルの認識論的耐性、論理的一貫性、教育的安全性を評価するための10個の独自のエッジケースからなる Turkish Anomaly Suite（TAS）を開発しました。270M〜32Bパラメータに及ぶ14種の異なるモデルを対象とした実験では、異常耐性はモデル規模だけに依存するわけではなく、大規模モデルでも阿諛追従バイアスが教育的リスクを招く可能性があることが示されました。これらの知見は、8B〜14Bパラメータ範囲の推論指向型モデルが、言語学習者にとってコストと安全性のトレードオフの点で最もバランスのとれたセグメントを形成することを示しています。