- Qwen/DeepSeek:
<think>...</think> - Gemma:
<|channel>...<channel|>変だけど、まあ確かに。 - Gemmaでもう一度、時々: デリミタなしのむき出しの
thought
vLLMにはモデルごとに --reasoning-parser フラグが用意されています。これは助けになりますが、基本的にはvLLMのメンテナーがネズミ捕りを永遠に続けることに自発的に付き合ってくれているだけです。さらに、raw出力を何か下流で扱っているなら、モデルごとに自分でパーサーを書いていることになります。
これはチャットテンプレートでも一度やったばかりです。今度またやっています。
これはただのGoogleらしさですか？これを標準化に向けて実際に動いているのを見た人はいますか、それともただノリでやってるだけですか？
[link] [comments]
