HoWToBench：Tree of Writingによる人間レベルの文章力を評価するための包括的手法

概要: 大規模言語モデル（LLM）の文章生成能力を評価することは、文章力が多次元であることや、既存の指標に限界があることにより、依然として大きな課題です。LLMの「千語レベル」および「オープンエンドな」文章生成における性能は、従来の参照ベースの指標や、近年のLLMを“審判”として用いる手法によっては、十分に評価されていません。私たちは、LLM-as-a-judgeが文章評価においてすべてのサブ特徴を集約するときにしばしば見られる暗黙の不整合を解消するために、Tree-of-Writing（ToW）を提案します。ToWは、サブ特徴の集約ウェイトを明示的にモデル化することで、木構造のワークフローを組み込みます。また、HowToBenchとして、12ジャンルを含み、3つのタスクカテゴリ（文脈補完、アウトラインに導かれた書き方、オープンエンド生成）にまたがる1302の指示からなる大規模な中国語ライティングベンチマークを提示します。ToWはバイアスをうまく抑制し、人間の判断との間で0.93のピアソン相関を達成します。さらに、重なりベースのテキスト生成指標と、一般的なLLM-as-a-judgeの実践の双方が、テキスト上の擾乱に対して脆弱である一方、ToWはそれらに頑健であることを見出します。加えて、ガイド課題において、入力長と内容に関するスコアの間に負の相関があることも明らかにしており、入力側の情報を単に積み増すだけでは改善できないことを示しています。