fastml：Rにおけるより安全な自動機械学習のためのガード付きリサンプリング・ワークフロー

Abstract

前処理の漏洩は、スケーリング、補完（imputation）、その他のデータ依存の変換を、再サンプリングの前に推定すると発生し、見かけ上の性能を過大評価しながら、検出が難しいまま残ります。本稿では、ガード付きの再サンプリングを通じて漏洩を意識した機械学習を単一呼び出しで行える R パッケージ fastml を提示します。そこでは、前処理を各再サンプリング内で再推定し、対応する評価（assessment）データに適用します。このパッケージは、グループ化された再サンプリングおよび時間順序付きの再サンプリングをサポートし、高リスクな構成をブロックし、外部依存関係についてのレシピ監査（audit）を行い、サンドボックス化された実行と統合されたモデル説明を含みます。fastml を、モンテカルロシミュレーションによって、グローバル正規化とフォールドローカル正規化を対比しつつ評価し、仕様を一致させたうえで tidymodels とのユーザビリティ比較を行い、さらに異なるサイズのデータセットにまたがる生存（survival）ベンチマークを実施します。そのシミュレーションは、グローバルな前処理が、ガード付き再サンプリングに比べて、見かけ上の性能を大きく過大評価することを示します。fastml は、tidymodels によって得られた保持（held-out）性能に一致する性能を示しつつ、ワークフローのオーケストレーションを削減しました。また、統一されたインターフェースによって複数の生存モデルクラスを一貫してベンチマークできることを支持しました。