短くなったが、それでも信頼できる？連鎖的思考（Chain-of-Thought）圧縮の実証研究

要旨: 長い連鎖的思考（Long-CoT）推論モデルは、推論コストを削減するために推論トレースを圧縮する研究の拡大を後押ししてきました。しかし、既存の評価はほぼ一貫して課題の正確性とトークン削減にだけ焦点を当てています。信頼性の性質は、獲得されている場合でも、事後学習によって強化されている場合でも、圧縮が変更するのと同じパラメータ空間に符号化されています。つまり、精度を維持できることは、そもそも信頼性を維持することを保証しません。私たちは、CoT圧縮がモデルの信頼性にどのような影響を与えるかについて、初めての体系的な実証研究を行います。異なる規模の複数のモデルを対象に、安全性、幻覚耐性、多言語ロバスト性の3つの次元にわたって評価します。制御された比較のもとで、CoT圧縮が信頼性の退行を引き起こすことが頻繁に見られること、そして異なる手法が次元ごとに異なる劣化プロファイルを示すことを見いだします。基準となるもの同士での公平な比較を可能にするために、各次元について正規化された効率スコアを提案します。これにより、素朴なスカラー指標が、信頼性のトレードオフをどのように見えなくしてしまうかが明らかになります。存在証明として、整合性を考慮したDPOの変種もさらに導入し、推論ベンチマークにおいてCoTの長さを19.3\%削減しつつ、実質的により小さい信頼性損失で抑えることを示します。私たちの結果は、CoT圧縮は効率だけでなく、信頼性のためにも最適化されるべきであり、両者を同等に重要な設計上の制約として扱う必要があることを示唆しています。