ネタバレ注意：LLMの物語ストーリーテリングにおける緊張感を測る指標としてのナラティブ予測

要旨: LLMはこれまで、一貫して人を惹きつける物語を生成することにも、この失敗を認識することにも失敗してきました——主要な創作ベンチマーク（EQ-Bench）において、LLMの審査員はゼロショットのAI物語を、文芸小説のゴールドスタンダードであるNew Yorkerの短編小説よりも上位にランク付けしています。私たちは、既存の採点基準（ルーブリック）が、人間の魅力的な物語に不可欠な重要な次元である「物語の緊張（narrative tension）」を見落としていると主張します。私たちは100-Endingsメトリックを導入します。これは物語を1文ずつ辿りながら、各位置において、これまでのテキストのみを与えて物語がどのように終わるかを100回予測させ、その予測が真の内容（ground truth）と一致しない頻度として緊張度を測定します。単なる不一致率にとどまらず、文単位のカーブは、たとえば屈折率（inflection rate）のような補完的な統計も与えます。屈折率は、カーブがどれくらいの頻度で方向転換するかを幾何学的に捉える指標で、物語のひねりや発見（revelations）を追跡します。ルーブリックに基づく審査員とは異なり、100-EndingsはNew Yorkerの物語をLLM出力よりも大幅に正しく順位付けします。ナラトロジー（物語論）の原理に基づき、物語テンプレートの分析、アイデアの形成、物語の足場（narrative scaffolding）といった構造的制約を用いて、物語生成パイプラインを設計しました。私たちのパイプラインは、100-Endingsメトリックで測定される物語の緊張を大きく向上させつつ、EQ-Benchのリーダーボードでの性能を維持します。