理解に届かないレスポンス：視覚ドキュメント理解における内部表現と応答のギャップを明らかにする

Abstract

視覚ドキュメント理解（VDU）は、大規模視覚言語モデル（LVLM）にとって難しい課題であり、視覚的知覚、テキスト認識、構造化されたレイアウト上での推論を統合することが必要となります。近年のLVLMはVDUベンチマークで進展を示しているものの、その性能評価は一般に生成された応答に基づいて行われており、モデルが実際に必要な情報を内部でどの程度捉えているかを必ずしも反映しているとは限りません。本論文では、線形プロービングを用いて、LVLM内のLLMの異なる層において、VDUタスクを解くために必要な情報がどのように表現されているのかを調査します。研究の結果、（1）内部表現と生成応答の間には明確なギャップがあり、（2）タスクを解くために必要な情報は、最終層よりも中間層からより線形に符号化されていることが多い、ことが明らかになりました。これらの知見に動機づけられ、我々は中間層を対象とした微調整戦略を検討します。実験の結果、中間層を微調整することで、線形プロービングの精度と応答精度の両方が向上し、ギャップも縮小することが示されました。