CROP：正則化付きプロンプト最適化による大規模言語モデルのトークン効率の高い推論

arXiv cs.CL / 2026/4/17

📰 ニュースIdeas & Deep AnalysisModels & Research

共有:

要点

本論文では、LLMのトークン使用量を削減するために、プロンプト最適化の過程で応答の長さを明示的に正則化する自動プロンプト最適化手法「CROP」を提案している。
既存のAPOがタスク精度のみを最適化するのに対し、CROPは応答長に基づくフィードバックも加えることで、重要な情報と推論だけを含む簡潔な出力を促す。
GSM8K、LogiQA、BIG-Bench Hardでの実験では、報告されているところによればトークン消費を80.6%削減しつつ、精度を競争力のある水準に保ち、性能低下はわずかだった。
著者らは、CROPがプロダクションのパイプラインでレイテンシやトークンコストが問題となるエージェント型AIの実運用に向けた実用的な解決策になると位置づけている。