一度だけプライムしてからローカルで再プログラム：ブラックボックスのサービスモデル適応に対する効率的な代替

arXiv cs.LG / 2026/4/3

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、Zeroth-Order Optimization（ZOO）によってクローズドボックスのサービスAPIを適応させる方法は、多くの場合非効率であり、コストの高いAPI呼び出しを多数要し、最適化が遅い、または不安定であるという問題があると主張している。さらに、GPT-4oのような最新APIでは追加の困難さも生じる。
AReS（Alternative efficient Reprogramming for Service models）を提案し、連続的なブラックボックス最適化をやめて、ローカルのエンコーダ上で軽量なアダプタだけを学習する単発の「プライミング」ステップに置き換える。
プライミングの後、AReSはローカルのプロキシモデル上で、ガラスボックス（ホワイトボックス）による再プログラミング段階へ切り替える。これにより、適応と推論はローカルで実行され、以降のAPI使用は実質的に発生しない。
実験ではGPT-4oで強い改善が報告されており、ZOOベースの手法がほとんど失敗するゼロショット基準に対して+27.8%の向上を含む。さらに10のデータセットにわたって改善が得られ（例：VLMで+2.5%、標準VMで+15.6%）、一貫した効果が示されている。
本手法はAPI呼び出しを99.99%以上削減しつつ、先行手法に対して最先端またはそれ以上の性能を達成する。APIベースのモデル適応に対する実用的な代替として位置付けられる。

Abstract

ターゲット課題に対してクローズドボックスのサービスモデル（すなわちAPI）を適応させるには、通常、ゼロ次最適化（Zeroth-Order Optimization, ZOO）による再プログラミングに頼ることが多いです。しかし、この標準的な戦略は、大量でコストの高いAPI呼び出しを要し、さらに最適化が遅く不安定になりがちであることが知られています。加えて、私たちは、このパラダイムが現代的なAPI（例：GPT-4o）に対して新たな課題に直面していることを観察します。これらのモデルは、ZOOが依拠する入力の摂動に対する感度が低い場合があり、それにより性能向上が妨げられます。こうした制限に対処するために、サービスモデルのための代替的で効率的な再プログラミング手法（AReS）を提案します。直接的で連続的なクローズドボックス最適化の代わりに、AReSはサービスAPIとの単一パスの相互作用を開始し、適応可能なローカルの事前学習エンコーダを下支え（プライミング）します。このプライミング段階では、ローカルのエンコーダの上に軽量な層のみを訓練し、そのため、後続でローカルモデルに対して直接実行される後段のグラスボックス（ホワイトボックス）再プログラミング段階に対して非常に反応性が高くなります。その結果、その後のすべての適応と推論はこのローカル代理（プロキシ）のみに依存し、追加のAPIコストはすべて不要になります。実験により、AReSは先行するZOOベース手法が苦戦する場面でも有効であることが示されます。GPT-4oでは、AReSはゼロショットのベースラインに対して+27.8%の向上を達成しますが、これはZOOベース手法がほとんど、あるいはまったく改善を提供できない課題です。より広く言えば、10の多様なデータセットにわたって、AReSは最先端手法を上回ります（VLMで+2.5%、標準VMで+15.6%）一方で、API呼び出しを99.99%以上削減します。AReSは、したがって、現代的なクローズドボックスモデルを適応させるための堅牢で実用的な解決策を提供します。