Meta-Tool：小型言語モデルにおける効率的な少数ショット・ツール適応

要旨: 複雑な適応メカニズムを用いずに、小規模言語モデルは強力なツール使用性能を達成できるのでしょうか？本論文では、Meta-Toolという統制された実験的研究により、この問いを検討します。そこでは、ハイパーネットワークに基づくLoRA適応を、慎重に設計された少数ショット・プロンプトと比較します。Llama-3.2-3B-Instructのバックボーンを用いて、4つの適応メカニズム――少数ショット・プロンプト、ドキュメンテーションの符号化、ハイパーネットワーク生成によるLoRA重み、値ガイド付きビームサーチ――を、4つの多様なベンチマーク：Gorilla APIBench、Spider 2.0、WebArena、InterCodeにわたって評価します。中心的な発見は、十分に裏付けられた否定的な結果です。すなわち、非自明な重み行列を生成できるにもかかわらず、227.8Mパラメータのハイパーネットワークは、少数ショット・プロンプトのみを上回る測定可能な改善を提供しません。包括的なアブレーション研究により、少数ショット例が性能に +21.5%、ドキュメンテーションが +5.0%寄与する一方で、ハイパーネットワークは 0%であることが明らかになりました。よく設計されたプロンプトを用いた3Bモデルは、レイテンシを$10分の1に抑えつつ、GPT-5の平均性能の79.7%を達成します。すべてのショット数（0〜5）にまたがる722件の失敗ケースに対する誤り分析では、5-shot構成（106件の失敗）において失敗モードがタスク依存であることが示されます。すなわち、スキーマ重視のタスク（Spider 2.0、WebArena）では形式エラーがほぼゼロで、残りの失敗は意味的なものですが、Gorilla（100%）およびInterCode（70%）では形式エラーが支配的です。これらの結果は、実務者の注意を複雑な適応アーキテクチャではなく、プロンプトエンジニアリングや例のキュレーションへと向け直します。