拡散言語モデルに対する安定性加重デコーディング
arXiv cs.CL / 2026/4/21
📰 ニュースModels & Research
要点
- 本論文は、拡散LLMのデコーディングが単一の復元ステップで計算した静的な信頼度スコアに依存すると破綻しやすく、時間的に不安定なトークンを早期にアンマスクしてしまう問題を指摘している。
- 連続するトークン予測分布間のKLダイバージェンスで時間的な不安定性を定量化し、不安定なトークンは残りのマスク文脈との相互情報量が本質的に小さいことを示す理論的下界を提示している。
- この洞察に基づき、学習不要で「プラグ＆プレイ」可能な安定性加重デコーディング（SWD）を提案し、時間的安定性をトークンスコアリングに組み込んで任意のスコアベース・デコーディング方針を普遍的に調整する。
- コード生成および数学的推論ベンチマークで、複数のスコア指標や選択ポリシーにわたって生成精度の一貫した改善が報告されている。
- さらに生成の高速化（加速比の変化）に対しても頑健で、標準ベースラインに対する有意なリードが維持される。
関連記事
Agent Package Manager（APM）：再現可能なAIエージェントのためのDevOpsガイド
Dev.to
実開発でClaude、GPT-4o、Geminiをベンチマークして学んだ3つのこと
Dev.to
ARPAのSkillware & Rooms（AI/ML/Python）でオープンソースの貢献者を募集
Dev.to
本番のLLMがツールのスキーマ制約を体系的に破ってUI機能を“発明”してしまう—約2,400メッセージで観測［D］
Reddit r/MachineLearning
AIシステムが回答途中でランダムにフランス語へ切り替わってしまう問題—原因が分かるまで時間がかかった
Reddit r/artificial
