コンピュータサイエンス > 計算と言語
arXiv:2603.09222 (cs)
[2026年3月10日に投稿]
題名:LooComp: Encoder-only Transformer に対して Leave-One-Out 戦略を活用し、効率的なクエリ認識コンテキスト圧縮を実現する
Thao Do と他4名の著者による「LooComp: Encoder-only Transformer に対して Leave-One-Out 戦略を活用し、効率的なクエリ認識コンテキスト圧縮を実現する」という題名の論文のPDFを表示
PDFを表示
HTML（実験的）
要旨:効率的なコンテキスト圧縮は、質問応答の精度とスケーラビリティを向上させるために重要である。Retrieval Augmented Generation の効率のためには、手がかりの十分性と、予算にやさしい LLM 読み取りコストを保証するには、コンテキストを高速に、コンパクトに、かつ正確に提供する必要がある。本研究では、マージンに基づく枠組みを提案し、クエリ駆動のコンテキスト絞り込みを行う。これは、文を省いたときの手がかりの豊かさ（clue richness）の変化を測定することで、そのクエリに答えるために重要な文を特定する。モデルは、重要な文には大きなマージンを課しつつ、重要でない文は中立付近に保つ、合成ランキング損失で学習する。軽量なエンコーダのみの Transformer を土台として、提案手法は一般に、高スループットな推論と、主要なベースラインよりも低いメモリ要件を備えながら、強い exact-match と F1 のスコアを達成する。効率に加えて、提案手法は応答性能を低下させることなく効果的な圧縮率をもたらし、検索拡張タスクのための軽量で実用的な代替案としての可能性を示している。
| 分野: | 計算と言語 (cs.CL) |
| 引用: | arXiv:2603.09222 [cs.CL] |
| (または、この版については arXiv:2603.09222v1 [cs.CL]) | |
| https://doi.org/10.48550/arXiv.2603.09222
詳しく学ぶためにフォーカス
DataCite 経由で arXiv が発行した DOI
|
現在の閲覧コンテキスト:
cs.CL
返却形式: {"translated": "翻訳されたHTML"}
切り替えて閲覧するには：
参考文献および引用
BibTeX引用をエクスポート
読み込み中...
ブックマーク
書誌ツール
コード、データ、メディア
デモ
書誌および引用ツール
書誌エクスプローラーの切り替え
書誌エクスプローラー (エクスプローラーとは？)
Connected Papersの切り替え
Connected Papers (Connected Papersとは？)
Litmapsの切り替え
Litmaps (Litmapsとは？)
scite.aiの切り替え
scite Smart Citations (Smart Citationsとは？)
本記事に関連付けられたコード、データ、メディア
alphaXivの切り替え
alphaXiv (alphaXivとは？)
コードへのリンクの切り替え
論文向けCatalyzeXコードファインダー (CatalyzeXとは？)
DagsHubの切り替え
DagsHub (DagsHubとは？)
GotitPub トグル
Gotit.pub (GotitPub とは何ですか？)
Huggingface トグル
Hugging Face (Huggingface とは何ですか？)
コードへのリンク トグル
Papers with Code (Papers with Code とは何ですか？)
ScienceCast トグル
ScienceCast (ScienceCast とは何ですか？)
デモ
Replicate トグル
Replicate (Replicate とは何ですか？)
Spaces トグル
Hugging Face Spaces (Spaces とは何ですか？)
Spaces トグル
TXYZ.AI (TXYZ.AI とは何ですか？)
レコメンダーと検索ツール
Influence Flower へのリンク
Influence Flower (Influence Flower とは何ですか？)
Core レコメンダー トグル
CORE Recommender (CORE とは何ですか？)
arXivLabs：コミュニティの協力者とともに行う実験的プロジェクト
arXivLabsは、協力者が当サイト上で新しいarXivの機能を直接開発し、共有できるようにするためのフレームワークです。
arXivLabsに取り組む個人および組織は、オープン性、コミュニティ、卓越性、ユーザーデータのプライバシーという当社の価値観を受け入れ、これを尊重してきました。arXivはこれらの価値観に取り組んでおり、それに従うパートナーとのみ連携します。
arXivのコミュニティに価値を追加するプロジェクトのアイデアはありますか？ arXivLabsについてさらに詳しく。
