AIにテストを丸投げしてはいけない理由と、その先の付き合い方

はじめに 「このコードのテストを書いて」とAIに頼むと、それなりに動くテストコードが返ってくる。 カバレッジは上がる。CIも通る。 しかし動作確認でバグが出たとき、振り返って気づくことがある。テストすべきことをテストしていなかった、と。 私が観察する範囲で、AI生成テストには次のような傾向がある。 実装の現状の挙動をそのままアサーションに固定してしまう 正常系に偏り、業務的な異常状態への想像力が乏しい 「このテストが落ちたら何がわかるか」を問いにくい、情報量の薄いテストが混じる これらは個別には人間も犯すミスだが、AIに丸投げするとスケールして発生するところに固有の問題がある。 ...