PSA: Qwen3.6 は preserve_thinking を同梱。必ずオンにしてください。

以前、テンプレートから発生するKVキャッシュ無効化の問題を解決するために、彼らの3.5テンプレートの修正についてこちらに投稿しました。多くの方に役立ったようです。

Qwen 3.6では、これを新しいpreserve_thinkingフラグで対応しました。彼らのモデルページ：

「chat_template_kwargs」: {"preserve_thinking": False} の代わりに「preserve_thinking」: True を使用してください。

この機能は特にエージェントのシナリオで有益です。完全な推論のコンテキストを維持することで意思決定の一貫性が高まり、さらに多くの場合、冗長な推論を減らすことで、全体のトークン消費を抑えられます。加えて、KVキャッシュの利用も改善し、推論モード／非推論モードの両方において推論の効率を最適化できます。

これが実際に意味すること：
モデルの以前の推論は、これまでのように毎ターン取り除かれて別の形で再シリアライズされるのではなく、コンテキスト内にそのまま保持されるようになりました。これがキャッシュ無効化問題の根本原因です。さらに、各ターンで毎回ゼロから始めるのではなく、これまでの推論を参照できるため、エージェント／ツール呼び出しのワークフローでもより良い結果が期待できます。

preserve thinking が有効になっていることを検証する方法：
簡単なテスト：モデルに次を尋ねます。
適当な20桁の数字を2つ考えて、それらが20桁であることを検証して。ツールは使わず、2つのうちのどちらか1つだけを、他には何も言わずに私に返して

モデルが実際に2つの数字を考えたか確認してください。そうでなければ、次のターンで再度、
では、あなたが考えた2つ目の数字を教えて

preserve_thinking: off - 前のターンの自分自身の推論にアクセスできなくなります。2つの数字を生成したことを覚えておらず、共有できる2つ目の数字がないと言うだけです。

preserve_thinking: on - モデルは以前の推論を参照でき、両方の数字を覚えていて、すぐにあなたへ2つ目を提示します。

ステータス：
現時点では、LMStudioがまだこれに対応していないことを確認できました。oMLXでの対応を追加するために、oMLXに対するPRをオープンしています。