ASDA: 金融推論のための自動スキル蒸留と適応

要約: 大規模言語モデル（LLMs）を特化した金融推論へ適応させることは、通常、コストの高いファインチューニングを必要とし、それがモデルにロックされた専門知識を生み出します。トレーニングを必要としない代替手段が出現しているが、我々の実験では主要手法（GEPAとACE）がFAMMA金融推論ベンチマークでわずかな利得しか達成せず、複雑で多段階のドメイン推論に対する非構造化テキスト最適化の限界を露呈しています。我々は Automated Skill Distillation and Adaptation（ASDA）を紹介します。これは、モデルの重みを変更せずに、反復的な誤り訂正学習を通じて構造化されたスキルアーティファクトを自動的に生成するフレームワークです。教師モデルは、金融推論タスクにおける生徒モデルの失敗を分析し、サブフィールドおよびエラータイプ別にエラーをクラスタリングし、推論手順、コードテンプレート、解答付きの実例を含むスキルファイルを統合します。これらは推論時に動的に注入されます。FAMMAで評価したところ、ASDAは算術推論で最大+17.33%、非算術推論で+5.95%の改善を達成し、すべてのトレーニング不要ベースラインを大幅に上回っています。得られたスキルアーティファクトは人間が読みやすく、バージョン管理され、Agent Skillsオープン標準と互換性があります。これにより、ラベル付きドメインデータセットを保有する任意の組織に、重みのアクセスや再学習なしでドメイン適応への実用的で監査可能な道を提供します。