長い臨床テキストのための予算を意識したルーティング

要旨: 大規模言語モデルにとっての重要な課題は、クエリあたりのトークンコストと、全体のデプロイコストです。臨床入力は長く、異種で、かつ冗長であることが多い一方で、下流タスクは短く、かつ重要度が高いです。私たちは、厳格なトークン予算のもとでドキュメント単位の部分集合を選択する、予算付きコンテキスト選択を研究します。これにより、市販のジェネレータが固定されたコストとレイテンシの制約を満たせるようにします。これは、ナップサック制約付きの部分集合選択問題として定式化し、2つの設計選択肢（文書の分割方法を定義する単位化、およびどの単位を保持するかを決める選択）を導入します。
私たちは
\textbf{RCD} を提案します。これは、関連性・網羅性・多様性のバランスをとる単調サブモジュラ目的関数です。文単位、セクション単位、ウィンドウ単位、クラスタベースの単位化を比較し、予算の状況に適応するルーティング・ヒューリスティックを導入します。MIMIC の退院サマリー記録、Cochrane の抄録、L-Eval での実験により、最適戦略は評価設定に依存することが示されました。位置に基づくヒューリスティックは、抽出タスクでは低予算で最も良い性能を示し、多様性を考慮した手法（MMR など）は LLM 生成を改善します。選択器の選択は単位化よりも重要で、クラスタベースのグルーピングは性能を低下させ、他の方式は同様に振る舞います。ROUGE は LLM 要約では飽和する一方で、BERTScore は品質の違いをよりよく反映します。コードは https://github.com/stone-technologies/ACL_budget_paper で公開します。