私は小規模モデル(おおよそ1Bパラメータ)を扱っており、出力がループにはまり、同じ文やフレーズを繰り返し生成してしまう問題に頻繁に直面しています。これは特に温度を低く設定すると発生頻度が高くなります(例: 0.1〜0.3)。
私が試したこと:
- 温度を1.0より高く設定する — 多少は改善しますが、問題を完全には解決しません。
- repetition_penalty(反復ペナルティ)や他のペナルティパラメータを設定する
- top_pとtop_kを調整する
同じファミリのより大きなモデル(例: 3B+)ではこの問題は見られません。
他の人もこれを経験したことがありますか?これは小型モデルの既知の制限ですか、それとも私が見逃している有効な回避策がありますか?小さなモデルに対して特に効果的な生成パラメータはありますか?
[リンク] [コメント]