制御された文章生成のためのノイズ・ステアリング：アラビア語の教育ストーリー生成における多様性と読解レベルの適合性を向上させる
arXiv cs.CL / 2026/4/7
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、アラビア語の教育ストーリー生成における「ノイズ・ステアリング」を研究し、語彙・読解レベル・物語構造に関する厳密な制約を維持しつつ、物語の多様性を高めることを目的とする。
- 推論時にトランスフォーマ内部表現へ、学習不要の手法として較正済みのガウス雑音（Gaussian perturbations）を注入することを提案し、7〜9B規模のアラビア語中心の小規模言語モデル5種に対して、4つの注入戦略を評価する。
- 残差ストリームへのノイズ注入は、物語の多様性を改善しつつ、全体の品質や制約順守への損失を最小限に抑え、検証した全モデルで初期学年向けの読解レベルを維持する。
- 注意エントロピーに基づくノイズ注入（AENI）は、注意ログitノイズ注入の安定化に寄与し、品質を回復させることが報告されており、安定性の低いアプローチよりも優れている。
- 一方、高温サンプリングは読解学年レベルを引き上げ、複数のモデルで「壊滅的崩壊（catastrophic collapse）」につながり得ることが示されており、制約付きの教育用生成では出力レベルのランダム性よりも内部への摂動の方が望ましいことを示唆する。
