頻度が重要: 剪定と量子化のための高速なモデル非依存データキュレーション

要旨：ポストトレーニング後のモデル圧縮は、性能を維持しつつ大規模言語モデル（LLMs）の携帯性を高めるために不可欠である。いくつかの圧縮手法が提案されている一方で、圧縮後のモデル構成を見つける際に最も適切なデータセット（いわゆる \emph{較正データ}）の選択に重点が置かれていない。較正データの選択は、タスク内およびタスク間の能力を維持するための重要なステップである。本研究では、モデル特異的な信号ではなくデータの内在的特性を分析することにより、剪定と量子化の両方において高性能な較正データセットを特定する課題に取り組む。\texttt{\textbf{ZipCal}}、モデル非依存のデータキュレーション戦略を導入し、Zipfianのべき法則に基づく語彙の多様性を最大化する。実験は、さまざまなプルーニングベンチマークにおいて、標準の一様乱択サンプリングを一貫して上回ることを示している。特筆すべきは、下流タスクの性能の観点でも、モデルのパープレキシティに依存する最先端の手法と同等の性能を示すことである。後者は大規模なモデルとデータセットでは高コストになる一方、\texttt{\textbf{ZipCal}} は扱いやすい線形計算量のおかげで平均して約240倍速くなる。\footnote{コードと実験は https://anonymous.4open.science/r/zipcal-71CD/ にて公開しています。}