 | For the past 2 weeks, my daily routine has included checking the main llama.cpp releases to see if attn rotate has been merged. Am I missing something? I mean, it should be there already since the core rotation PR has been merged. Is it enabled by default? [link] [comments] |
Wait is attn rotate already enabled by default since this release tell it support SWA attention?
Reddit r/LocalLLaMA / 4/8/2026
💬 OpinionDeveloper Stack & InfrastructureSignals & Early TrendsTools & Practical Usage
Key Points
- 投稿者は、llama.cppの「attn rotate（attention rotation）」がコアのPRで既にマージされているはずなのに、なぜ最近のリリースで確認できないのかを質問している。
- attn rotateが有効化されるタイミング（デフォルトで有効かどうか）について、リリース内容や設定状況の確認を求めている。
- さらに、リリース後に「SWA（おそらくStochastic Weight Averagingや関連するSWA attention）への対応」が追加されているのではないかという観点も含めている。
- これは特定の新機能の公式発表というより、コミュニティ内での利用状況・挙動のすり合わせ（情報不足の確認）に関するスレッドである。
