LLMはいつ必要になるのか？言語に駆動されるバンディットの診断

Abstract

本研究では、文脈がテキスト情報と数値情報の両方を含む（例：レコメンデーションシステム、動的ポートフォリオ調整、オファー選択；金融分野で頻出の問題）非エピソード型の逐次意思決定問題に対する文脈付きマルチアームド・バンディット（CMAB）を研究します。大規模言語モデル（LLM）はこうした状況にますます適用されつつありますが、各意思決定ステップで推論のためにLLMを用いるのは計算コストが高く、不確実性推定を得るのも難しいです。これに対処するため、我々は繰り返し推論によってLLMから不確実性推定を導出するバンディットアルゴリズムであるLLMP-UCBを提案します。しかし、実験の結果、テキスト埋め込み（DenseまたはMatryoshka）上で動作する軽量な数値バンディットが、コストの一部でLLMベースの解法と同等、あるいはそれを上回る精度を達成することを示します。さらに、埋め込み次元の選択が探索と活用のバランスに対する実用的なレバーとなり、プロンプトの複雑さなしにコストと性能のトレードオフを可能にすることを示します。最後に、実務者の指針として、LLM主導の推論を使うべきか、軽量な数値バンディットを使うべきかを判断するために、アームの埋め込みに基づく幾何学的診断を提案します。本研究の結果は、金融サービスにおけるAI活用事例全般に幅広く適用可能な、費用対効果が高く不確実性を考慮した意思決定システムのための、原理に基づく導入フレームワークを提供します。