LLMにおける確率性の錯覚
arXiv cs.CL / 2026/4/9
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、「信頼できる確率的サンプリング」が、LLMを自律エージェントとして用い、目標となる確率分布からサンプルを取得する際に重要であるにもかかわらず、まだ満たされていない要件だと主張する。
- 中核となる失敗モードとして、LLMは、従来の強化学習（RL）エージェントが外部のサンプリング機構を用いて行うのとは異なり、自身の内部にある確率推定値を、その出力する確率的出力へ一貫して変換できない点を指摘している。
- 複数のモデル系統、サイズ、プロンプトのスタイル、目標分布にまたがる実験を用い、著者らはこの不一致がどれほど頻繁に、どれほど深刻に起きるかを定量化する。
- 本研究では、フロンティア級のモデルは与えられた乱数シードを用いることで目標分布との一致をある程度改善できる場合があるものの、それでも根本的には分布に正確に一致したサンプリングは難しいことが示される。
