研究者は、1テキストずつ分類することでLLM注釈コストの80%を無駄にしている

要旨: 大規模言語モデル（LLM）は社会科学の分野でテキスト分類にますます使われるようになっているが、研究者の大半は、プロンプトごとに変数ごとに1つのテキストを分類している。4つの変数に対して100,000件のテキストを符号化するには400,000回のAPI呼び出しが必要である。25件ずつをバッチ処理し、すべての変数を1つのプロンプトにまとめることで、呼び出し回数は4,000回に削減でき、トークン費用を80%以上抑えられる。これが符号化の品質を低下させるかどうかは不明である。本研究では、4つのプロバイダから選んだ8つの本番用LLMを用いて、専門家がコード化した3,962件のツイートを対象に4つのタスクで評価し、バッチサイズを1〜1,000件に変化させ、さらに1つのプロンプトあたり最大25の符号化ディメンションを積み重ねた。8モデル中6モデルは、バッチサイズ100までなら、単一アイテムのベースラインから精度を2pp以内に維持した。最大10ディメンションまでの変数スタッキングでは、単一変数の符号化と同等の結果が得られ、劣化はプロンプト長ではなくタスクの複雑さによって生じていた。この安全な稼働範囲の中では、バッチ処理とスタッキングによる測定誤差は、グラウンドトゥルースデータにおける典型的なコーダー間不一致よりも小さい。