Geminiに「拠」を繰り返し出力させると意味不明な文章が出てくる件をGemma 4で再現する
Zenn / 4/14/2026
💬 OpinionTools & Practical UsageModels & Research
Key Points
- Geminiに「拠」を繰り返し出力させると意味不明な文章が生成される現象を、同様の条件で再現する試みが述べられている
- 再現にあたり、Geminiだけでなく別モデル（Gemma 4）でも同種の崩れ方が起きるかを検証している
- 特定の出力トリガーとなる語（「拠」）を反復させることで、モデルが一貫した意味生成を維持できなくなる可能性が示唆される
- 生成AIの挙動がプロンプトの“繰り返し要素”に強く影響され、出力品質が劣化するケースがあることを実験的に扱っている
Google Bug Huntersへの報告
本記事の内容は、Carlini et al. (2023) "Scalable Extraction of Training Data from (Production) Language Models" と同じなので、Google Bug Huntersへ報告したが、「ハルシネーション」としてクローズされた。Carlini と違い、suffix array照合が出来ない。しかし、Googleが「ハルシネーション」だと言うのであれば、公開しても問題ないだろう。
何が起きているか
Googleの対話AI「Gemini」に普通に質問すると...
Continue reading this article on the original site.
Read original →
