XMark：LLM生成テキスト向けの信頼性の高いマルチビット透かし

要旨: マルチビット・ウォーターマーキングは、大規模言語モデル（LLM）が生成したテキストに、不可視な二値メッセージを埋め込むための有望な解決策として登場し、悪意のあるLLM利用の信頼できる帰属付けおよび追跡を可能にします。近年の進展にもかかわらず、既存手法には依然として重要な制約があります。すなわち、ある手法は大きなメッセージに対して計算的に実行不可能になり、また別の手法はテキスト品質と復号精度の間のトレードオフが不十分です。さらに、生成テキスト中のトークン数が制限されると、既存手法の復号精度が大幅に低下しますが、この条件は実運用で頻繁に生じます。これらの課題に対処するため、
extsc{XMark} は、LLM生成テキストにおける二値メッセージの符号化および復号のための新しい手法を提案します。
extsc{XMark} のエンコーダの独自設計により、ウォーターマーク付きトークン生成における歪みの少ないロジット分布が生成され、テキスト品質を維持できるだけでなく、限られたトークン数でも符号化メッセージを確実に復元できるように調整された復号器も実現します。多様な下流タスクにまたがる広範な実験により、
extsc{XMark} は、水印付きテキストの品質を維持しながら、復号精度を大きく向上させ、従来手法よりも優れていることが示されます。コードは https://github.com/JiiahaoXU/XMark にあります。