Flash-SemiCRFによるストリーミング構造化推論

arXiv cs.LG / 2026/4/22

📰 ニュースDeveloper Stack & InfrastructureModels & Research

共有:

要点

Semi-Markov Conditional Random Fields（semi-CRF）は、個々の位置ではなく区間にラベルを付与できるため境界の不確実性も含めて厳密推論が可能ですが、従来はエッジポテンシャル・テンソルを明示的に生成する必要があり、系列が長くラベル数が増えるほどメモリ負荷が急増していました。
本論文では、保存していた大規模なエッジテンソルを、prefix-sum（累積和）によるオンザフライ参照に置き換えることで、メモリ使用量をセグメント長とラベル数の積に比例して大きく削減する手法を示しています。
チェックポイント境界の正規化を用いたストリーミング型のforward-backwardにより、系列長に対して作業メモリをサブリニアに抑えつつ、厳密な勾配を維持できるとしています。
数値ドリフト対策としてゼロ中心化した累積スコアを導入し、さらにラベル不均衡時には適応的な持続時間（duration）事前分布も得られるようにしています。
これらの改善をFlash-SemiCRF（Tritonで融合したカーネルと実装）に統合し、従来は困難だった音声スケールやゲノムスケールの長大系列に対して厳密なsemi-CRF推論を可能にしています。