LLMbench：大規模言語モデルのための比較的精読ワークベンチ

要旨: LLMbenchは、大規模言語モデル（LLM）の出力を比較しつつ精読するための、ブラウザベースの作業台（workbench）です。Google PAIRのLLM Comparatorのような、LLM比較のための既存ツールが、定量評価やユーザー評価メトリクス向けに設計されているのに対し、LLMbenchはデジタル・ヒューマニティーズにおける解釈学的（ヘルメノティック）実践に焦点を当てています。同一のプロンプトに対する2つのモデル応答が、4つの分析用オーバーレイ付きの注釈可能なパネルとして左右に並べられます（トークン単位のログ確率を検査するためのProbabilities、2つのパネル間での単語レベルの差分を示すDifferences、Hylandスタイルのメタディスコース分析のためのTone、談話コネクティブのハイライト付きで文レベルの構文解析を行うためのStructure）。さらに、生成テキストの確率構造をトークン単位で可視化する5つの分析モード（Stochastic Variation、Temperature Gradient、Prompt Sensitivity、Token Probabilities、Cross-Model Divergence）が用意されており、トークンごとの確率的な様相を読み取れるようにします。このツールは、生成されたテキストを、確率分布から得られる「それ以外にもなり得た」テキストであるという意味で、ひとつの研究対象そのものとして扱います。連続的なヒートマップ、エントロピーのスパークライン、ピクセルマップ、そして3次元の確率地形（probability terrains）などの可視化を提供し、それぞれの単語が現れるに至った反実仮想的な履歴（counterfactual history）を示します。本論文は、ツールのアーキテクチャ、その6つのモード、および設計上の根拠を述べ、現在は人文学的・社会科学的なAIの読みの中で十分に活用されていない対数確率データが、生成AIモデルの批判的研究にとって重要な資源であることを論じます。