一般用途の大規模言語モデルによる電気料金請求書からの情報抽出

要旨: 半構造化されたビジネス文書からの情報抽出は、企業管理において依然として重要な課題である。本研究では、タスク固有のファインチューニングなしで、汎用の大規模言語モデルがスペインの電力請求書から構造化情報を抽出する能力を評価する。IDSEMデータセットの一部を用いて、アーキテクチャ的に異なる2つのモデル、Gemini 1.5 ProとMistral-smallを、19のパラメータ設定と6つのプロンプト戦略にわたってベンチマークする。実験フレームワークでは、プロンプトエンジニアリングを主要な実験変数として扱い、ゼロショットのベースラインと、ますます洗練された少数ショット手法および反復的な抽出戦略を比較する。結果は、プロンプトの質がハイパーパラメータ調整よりも支配的であることを示している。全パラメータ設定におけるF1スコアの変動はわずかである一方、ゼロショットと最良の少数ショット戦略との差は19パーセントポイントを超える。最良の設定（交差検証付き少数ショット）は、GeminiでF1スコア97.61%、Mistral-smallで96.11%を達成し、文書テンプレートの構造が抽出の難しさの主要な決定要因として浮かび上がった。これらの知見は、LLMベースの文書処理において抽出の忠実性を最大化するための重要なレバーがプロンプト設計であることを確立し、汎用LLMをビジネス文書の自動化に統合するための実証的な枠組みを提供するものである。