大規模言語モデルを用いたマルチモーダルエッセイ採点の意思決定レベル序数モデリング

要約:
自動エッセイ採点（AES）は、各エッセイについて複数のルーブリックで定義された特性スコアを予測します。各特性は順序付きの離散的評価尺度に従います。ほとんどのLLMベースのAES手法は、採点を自己回帰トークン生成として扱い、デコードと解析を通じて最終スコアを得るため、意思決定を暗黙のものにします。この定式化は、視覚入力の有用性がエッセイや特性ごとに異なる多モーダルAESにおいて、特に敏感です。これらの限界に対処するため、決定レベルの階層的順序モデリング（DLOM）を提案します。これは、事前に定義されたスコアトークン上のスコア別ロジットを抽出するために言語モデルのヘッドを再利用することで、採点を明示的な順序決定とし、スコア空間での直接的な最適化と解析を可能にします。多模态AESでは、DLOM-GFがゲート付き融合モジュールを導入し、テキストベースとマルチモーダルのスコアロジットを適応的に結合します。テキストのみのAESでは、DLOM-DAが距離感知正則化項を追加して、序数間の距離をより適切に反映します。多模态 EssayJudge データセットでの実験は、DLOMが生成ベースのSFTベースラインをスコア特性全体で上回ることを示し、モダリティの関連性が異なる場合にはDLOM-GFがさらなる改善をもたらします。テキストのみの ASAP/ASAP++ ベンチマークでは、DLOMは視覚入力なしでも有効であり、DLOM-DAが性能をさらに向上させ、強力な代表的ベースラインを上回ります。