Causal Circuit-Guided Pruning: 因果推論に基づくTransformerの機能保持圧縮とWandaとの比較

1. はじめに 大規模言語モデル（LLM）の社会実装において，モデル圧縮は不可欠な技術である．近年，Wanda [Sun et al., 2023] や SparseGPT [Frantar et al., 2023] といった手法が登場し，事後学習なし（Post-training）での枝切り（Pruning）が可能となった．しかし，これら既存手法の多くは，パラメータの大きさや入力との積といった「相関的指標（Correlational Metrics）」に依存している． 本稿では，従来の相関に基づくアプローチの限界を指摘し，因果推論（Causal Inference）の枠組みを導入し...