CoDA：CoTガイド付きドメイン適応による効果的なクロスドメイン知識転送に向けて

要旨: 大規模言語モデル（LLM）は論理的推論において大きな進歩を遂げてきましたが、それでもなお人間レベルの性能には遅れをとっています。インコンテキスト学習は、専門家が厳選した、その領域に即した模範例を入力プロンプトとしてモデルに与えることで、モデルの性能を向上させる実行可能な解決策を提供します。しかし、多くの現実の場面で、専門性の供給が乏しい領域、たとえば低資源の科学分野、新興のバイオメディカル下位領域、あるいはニッチな法域では、このような高品質な領域内デモンストレーションが本質的に限られているか、まったく利用できません。その結果、これらのアプローチの一般的な適用可能性が制約されます。この制約を緩和するために、近年では、クロスドメインのサンプルを代理的なインコンテキスト・デモンストレーションとして取得する取り組みが検討されてきました。それでも、得られる改善は依然として控えめです。これは主に、ソース分布とターゲット分布の間に顕著なドメインシフトが存在するためであり、そのためモデルが、基盤となる共通の構造や潜在的な推論パターンを効果的に見出して活用することが難しくなっています。その結果、単に生のテキスト・プロンプトに頼るだけでは、LLMはこのようなクロスドメイン知識を堅牢かつ体系的な形で抽象化し、移転するのに苦労します。これらの問題に対処するために、我々はCoDAを提案します。CoDAは、中間の隠れ状態に直接介入する軽量なアダプタを用います。CoTが強化された参照表現の特徴量ベースの蒸留と、カーネル化された分布整合のための最大平均差異（MMD）を組み合わせることで、本手法はソース領域とターゲット領域の潜在的な推論表現を整列させます。さまざまなモデルファミリにわたる複数の論理推論タスクに関する大規模な実験結果は、CoDAが、先行する最先端のベースラインを大幅な差で上回ることにより、その有効性を強く裏付けています。