ドメイン不変ニューロンに基づく検索による、効果的なインコンテキスト・クロスドメイン知識転送に向けて

要旨: 大規模言語モデル（LLM）は論理的推論において顕著な進歩を遂げてきましたが、依然として人間レベルの性能には届いていません。現在のブースティング戦略は、専門家が作り込んだ領域内デモンストレーションに依存しており、専門知識が不足しがちな領域、例えば特化した数学的推論、形式論理、あるいは法的分析などへの適用には限界があります。本研究では、領域をまたいだデモンストレーション例を活用して、LLMの推論性能をブーストすることが実現可能であることを示します。領域間には大きな違いがあるにもかかわらず、多くの再利用可能な暗黙の論理構造が、領域を越えて共通して共有されています。検討中の未見領域に対して、領域をまたいだ例を効果的に取得するために、本研究では、ドメイン不変ニューロンに基づく取得（\textbf{DIN-Retrieval}）と呼ばれる有効な取得手法をさらに提案します。簡潔に言えば、DIN-Retrievalはまず、異なる領域間で普遍的な隠れ表現を要約します。次に推論段階では、DINベクトルを用いて、文脈内学習（in-context learning）のための構造的に整合する領域横断のデモンストレーションを取得します。数学的および論理的推論の移転を対象とした複数の設定における実験結果は、本手法が最先端手法に対して平均で1.8の改善を達成することを示しています \footnote{本実装は https://github.com/Leon221220/DIN-Retrieval で利用可能です}.