広告

生成AIの競技場における戦略的立候補

arXiv cs.LG / 2026/3/31

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

要点

  • 本論文は、生成AIの「競技場(AI arenas)」(Arena/LMArena/Chatbot Arena のような一対比較の嗜好順位付け)が、モデル提供者によって多数のニア・デュープリケート(ほぼ同一)の「クローン」派生モデルを投入することで悪用され得ることを検討する。これにより、ノイズを含むユーザ嗜好を利用して、上位順位を不当に押し上げることが可能になる。
  • 提供者の目的が高順位にランクされることである場合に、クローン投入が提供者の順位位置を実質的に有利にできる条件について、理論およびシミュレーションに基づいて導出する。
  • これを軽減するため、著者らは You-Rank-We-Rank(YRWR)という順位補正メカニズムを提案する。これは、提供者が自社のモデル群に対して提出した順位を用いて、モデル品質の統計推定値を調整する。
  • 本論文では、YRWR が概ねクローン耐性(clone-robust)を持つことを証明する。すなわち、提供者が実質的に各ユニークなモデルを一度だけ投入できない限り、順位を大きく改善することはできない。また、提供者が自社モデルを正しく順位付けできる場合には、全体の順位推定精度を改善し得る。
  • シミュレーションにより、提供者の誤った順位付けに対する頑健性をさらに評価し、順位推定精度の向上幅を定量化する。これは、理想的な仮定のもとに限らない実務上の有効性を示している。

広告