PRAGMA: Revolut Foundation Model

arXiv cs.LG / 4/13/2026

💬 OpinionIdeas & Deep AnalysisModels & Research

共有:

Key Points

PRAGMAは、銀行の多様なイベント系列（離散・可変長の取引/イベントデータ）を扱うTransformerベースの財務向け基盤モデル群として提案されています。
大規模でヘテロな銀行イベントコーパス上で、金融記録の性質に合わせた自規教師（マスクドモデリング）目的により事前学習を行います。
クレジットスコアリング、詐欺検知、ライフタイムバリュー予測などの下流タスクに対して、抽出した埋め込みの上に線形モデルだけでも強い性能が出せ、軽量な微調整でさらに改善できると述べています。
生のイベント系列から複数ドメインにまたがって優れた性能を示し、金融アプリケーションの汎用表現レイヤーになり得ることが評価で示されています。

Abstract

Modern financial systems generate vast quantities of transactional and event-level data that encode rich economic signals. This paper presents PRAGMA, a family of foundation models for multi-source banking event sequences. Our approach pre-trains a Transformer-based architecture with masked modelling on a large-scale, heterogeneous banking event corpus using a self-supervised objective tailored to the discrete, variable-length nature of financial records. The resulting model supports a wide range of downstream tasks such as credit scoring, fraud detection, and lifetime value prediction: strong performance can be achieved by training a simple linear model on top of the extracted embeddings and can be further improved with lightweight fine-tuning. Through extensive evaluation on downstream tasks, we demonstrate that PRAGMA achieves superior performance across multiple domains directly from raw event sequences, providing a general-purpose representation layer for financial applications.