STEP: 科学的時系列エンコーダのクロスドメイン蒸留による事前学習

要約: 科学的時系列は科学AIの中心ですが、通常はまばらで高度に異質で、規模が限られており、統一表現学習を特に困難にしています。 一方、音声、一般的な時系列、脳信号といった関連する時系列領域で事前学習された基盤モデルは豊富な知識を含んでいますが、それらを科学的信号へ適用することはまだ十分に検討されていません。 本研究では、関連する時系列領域からの基盤モデルの転移可能性と補完性を調査し、それらを効果的に活用して科学的時系列の統一エンコーダを構築する方法を検討します。 私たちはまず、関連する基盤モデルを系統的に評価し、科学的タスクへの知識転移の有効性とそれらの補完的な強みを示します。 この観察に基づき、クロスドメイン蒸留による科学的時系列エンコーダ事前学習フレームワーク STEP を提案します。 STEP は、極端に長い系列に対処するための適応的パッチ処理と、多様な数値スケールに対応する統計補償スキームを導入します。 さらに、クロスドメイン蒸留を活用して複数の基盤モデルからの知識を統合し、統一エンコーダへと組み込みます。 異なるドメインにまたがる補完的な表現を組み合わせることで、STEP は科学的信号に適した汎用的で転移可能な特徴を学習します。 七つの科学的時系列タスクに対する実験は、STEP が効果的な構造と効果的な事前学習パラダイムの両方を提供することを示し、科学的時系列表現学習へ向けた STEP の一歩を踏み出します。