小型モデル(Qwen 3.5 0.8B、Llama 3.2 1B、Gemma 3 1B)は繰り返しのループにはまる

Reddit r/LocalLLaMA / 2026/3/20

💬 オピニオンTools & Practical UsageModels & Research

要点

  • 約1Bパラメータの小型モデルは繰り返しのループを発生させがちで、特に低温度設定時に顕著です。
  • 温度を1.0より高く設定するとある程度の緩和は得られますが、問題を完全には解決しません。
  • repetition_penalty、top_p、top_k などの生成制御を調整してみましたが、決定的な解決策には至っていません。
  • 同じ系統のより大きなモデル(例:3B+)はこのようなループを示さず、サイズに起因する制限があることを示唆しています。
  • この現象は小型モデルの既知の制限なのか、実用的な回避策や効果的なパラメータ設定は何か、という点を投稿は問うています。

私は小規模モデル(おおよそ1Bパラメータ)を扱っており、出力がループにはまり、同じ文やフレーズを繰り返し生成してしまう問題に頻繁に直面しています。これは特に温度を低く設定すると発生頻度が高くなります(例: 0.1〜0.3)。

私が試したこと:

  • 温度を1.0より高く設定する — 多少は改善しますが、問題を完全には解決しません。
  • repetition_penalty(反復ペナルティ)や他のペナルティパラメータを設定する
  • top_pとtop_kを調整する

同じファミリのより大きなモデル(例: 3B+)ではこの問題は見られません。

他の人もこれを経験したことがありますか?これは小型モデルの既知の制限ですか、それとも私が見逃している有効な回避策がありますか?小さなモデルに対して特に効果的な生成パラメータはありますか?

投稿者 /u/lionellee77
[リンク] [コメント]