クロスドメインの事前知識を介したアナロジーによる推論：イン・コンテキスト学習におけるクロスドメイン知識転移の実証研究

Abstract

その成功にもかかわらず、既存のインコンテキスト学習（ICL）は、対象領域の専門家によるデモンストレーションに依存しているため、専門家の注釈が乏しい場合には適用範囲が制限される。私たちは、異なる領域が基盤となる推論構造を共有しうるため、意味的な不一致があっても、ソース領域のデモンストレーションがターゲット領域の推論を改善できると仮定する。この仮説を検証するために、インコンテキスト学習の設定のもとで、領域横断の知識移転を達成することが可能であるかを検証するべく、さまざまな検索手法に関する包括的な実証研究を行う。結果として、領域横断ICLにおいて条件付きの正の転移が生じることを示す。明確な吸収（取得）しきい値の例を特定する。そこを超えると正の転移がより起こりやすくなり、さらに多くのデモンストレーションがより大きな改善をもたらす。追加の分析から、これらの改善は意味的手がかりではなく、取得された領域横断の例による推論構造の修復に起因することが示唆される。総じて、私たちの研究は、領域横断の知識移転を活用して領域横断ICLの性能を向上させることが可能であることを裏づけ、この新しい方向性に対して、より効果的な検索アプローチを設計することをコミュニティに促すものである。\footnote{私たちの実装は https://github.com/littlelaska/ICL-TF4LR で公開している}