広告

過学習とデータリークは何が違うのか?CVが良すぎるときに疑うべきこと

Qiita / 2026/3/29

💬 オピニオンIdeas & Deep AnalysisTools & Practical Usage

要点

  • 過学習は「学習データに対して過剰に適合してしまい、汎化性能が落ちる現象」で、主にモデルの複雑さと学習/検証の設計に起因します。
  • データリークは「本来は将来情報として使えないはずの情報が学習時に混ざり、見かけ上のCV(検証スコア)が不当に高くなる現象」です。
  • CVが良すぎる場合は、単なる過学習ではなく、分割方法(時系列/グループ)、前処理のやり方、特徴量作成の手順などでリークが起きていないかを疑うべきだと示します。
  • それぞれの違いは“なぜスコアが良いのか”の原因にあり、検証方法とデータ取り扱いの点検によって切り分けられることがポイントです。
  • scikit-learn/Python前提で、初心者が再現性ある評価設計(適切な分割や検証)を身につけることを重視した内容です。
機械学習を学び始めると、過学習とデータリークがごちゃごちゃになりやすいです。 どちらも「学習時はうまくいっているように見えるのに、本番では外れる」という意味では似ています。 でも、原因はまったく違います。 この記事では、ダミーデータを使って 過学習とは何か データリークと...

この記事の続きは原文サイトでお読みいただけます。

原文を読む →

広告