AI Navigate
インサイト最新記事一覧AI大全

Qwen3.5での推論予算の実装

Reddit r/LocalLLaMA / 2026/3/20

💬 オピニオンTools & Practical UsageModels & Research
原文を読む →
共有:

要点

  • Pythonで vLLM または SGLang を使用して Qwen3.5 の推論予算を実装する方法を問う投稿です。
  • 著者は、推論に約1500トークンを一貫して使用しており、調整を試みても変化しないと報告しています。
  • この質問は Reddit のユーザー /u/DingyAtoll によって投稿され、LocalLLaMA の議論スレッドへのリンクが含まれています。
  • このスレッドは、推論予算を理解・制御することに焦点を当てており、それがレイテンシ、コスト、出力挙動に影響を与えます。

誰か、Python 上で vLLM か SGLang のいずれかで Qwen3.5 のための推論予算をどのように実装すべきか教えていただけますか？ 何を試しても、理由もなくただ1500トークン分だけ推論してしまい、正気を失いそうです。

投稿者 /u/DingyAtoll
[リンク] [コメント]

関連おすすめサービス

※当サイトはアフィリエイト広告を利用しています
🎧

Notta搭載AI議事録イヤホン ZENCHORD1

AI時代の仕事術。Notta搭載で会議の議事録を自動生成するスマートイヤホン。

🎙️

AI搭載ボイスレコーダー Plaud

世界100万人が愛用。AIで文字起こし・要約を自動化するボイスレコーダー。

🖼️

画像高画質化AIツール Aiarty Image Enhancer

AIで画像を高画質化。写真・イラストを簡単にアップスケール。