Gemini 2.5 Flashで大量のレシートを解析してみた：マルチモーダルOCRを本番運用するうえで学んだこと

私のスタートアップでは、レシートの写真（購入明細）と、棚に並んだ商品の画像から、構造化データ（品目名、価格、数量、単価）を抽出する必要がありました。色あせた感熱紙、ぐしゃぐしゃに丸められたもの、悪い照明環境など、いろいろありました。

何千枚ものテストレシートを通じて得られた重要な発見：

• 単発の抽出は、2段階パイプラインより優れている。 ほとんどの構成では、まず視覚モデルでOCRを行い、その後言語モデルで構造化します。Geminiは両方を1回の呼び出しで行うため、より速く、より安価です。
• プロンプトの構成は、モデルのサイズより重要。 フィールドを厳密に定義してJSONを求めると、自由形式の抽出プロンプトよりも大幅に性能が良くなりました。
• 感熱紙の色あせは最も難しいエッジケース。 モデルはブレや角度への対応がうまいです。色あせた感熱紙が最も多く幻覚（hallucination）を引き起こします。いま、その対策戦略を検討中です。
• FlashとProのトレードオフ： Flashはレシートの約95%を正しく処理します。Proは複雑なレイアウト（複数列、手書きの追記）で威力を発揮します。コスト差があるので、ルーティング（振り分け）する価値があります。

誰かが同じような問題に取り組んでいるなら、プロンプト設計についてさらに詳しいことも共有できます。