教師あり機械学習モデルの評価：原則、落とし穴、メトリクス選択

要旨: 教師あり機械学習モデルの評価は、信頼できる予測システムの開発における重要な段階である。機械学習ライブラリや自動化されたワークフローが広く利用可能であるにもかかわらず、モデルの評価はしばしば少数の集計指標を報告することにまで単純化され、実世界での性能に関する誤解を招く結論につながりうる。本論文では、分類および回帰タスクにまたがる教師あり学習アルゴリズムを評価する際に関わる原理、課題、ならびに実務上の考慮事項を検討する。とりわけ、評価結果が、データセットの特性、バリデーション設計、クラス不均衡、非対称な誤りコスト、そして性能指標の選択にどのように影響されるかを論じる。多様なベンチマークデータセットを用いた一連の統制された実験シナリオを通じて、本研究は、精度のパラドックス、データリーク、不適切な指標選択、そしてスカラー要約指標への過度な依存といった共通の落とし穴を明らかにする。また、代替的なバリデーション戦略を比較し、モデル評価をタスクの意図する運用上の目的に整合させることの重要性を強調する。評価を意思決定指向で、かつ状況（コンテキスト）依存のプロセスとして提示することで、本研究は、統計的に妥当で、頑健で、信頼できる教師あり機械学習システムを支える指標およびバリデーション手順を選択するための、体系だった基盤を提供する。