GPT4o-Receipt: AI生成ドキュメント鑑識のためのデータセットと人間研究

要旨：人間はAI生成の金融文書を機械よりもよく検出できるのだろうか？私たちはGPT4o-Receiptを提示します。これは、確立されたデータセットからの正規のレシートとGPT-4oが生成したレシートを対にした1,235件のレシート画像のベンチマークで、5つの最先端マルチモーダルLLMと30名のアノテータによるクラウドソーシング知覚研究で評価されています。私たちの発見は、驚くべき逆説を示します。人間はAIアーティファクトを視覚的には見るのが得意ですが、AI文書を検出することにはむしろ劣ります。人間のアノテータは、いずれの評価者よりも最大の視覚識別ギャップを示しますが、二値検出のF1はClaude Sonnet 4およびGemini 2.5 Flashより大幅に低くなっています。この逆説は、仕組みを理解すると解決します。AI生成レシートにおける支配的な鑑識信号は算術エラーで、視覚的検査には見えませんが、LLMsによって系統的に検証可能です。人間は小計が誤っていることを認識できませんが、LLMsはそれをミリ秒で検証します。人間とLLMの比較を超えて、5モデルの評価は著しい性能格差とキャリブレーションの差を示し、単純な正確さ指標が検出器選択には不十分であることを示します。GPT4o-Receipt、評価フレームワーク、およびすべての結果は、将来のAI文書鑑識研究を支援するために公開されています。