私はAI／コンピュータビジョンの分野で研究しているPhD学生ですが、あるプロジェクトで非常に厄介な壁にぶつかっています。
指導教員から、掲載済みの論文の精度を改善するよう求められました。最初のステップとして、修正を何か試す前に、まずはその結果を忠実に再現することにしました。問題は、報告されているベースラインにすら一致できないことです。論文では約77%の精度が報告されていますが、複数回の実行と慎重なチューニングを行っても、私は一貫して約73%しか出せていません。
自分で確認できるところはすべて二重にチェックしました。実装の詳細、前処理、ハイパーパラメータ（記述されている範囲で）、さらに乱数シードや評価プロトコルのような細かな点まで含めています。また、論文の著者に連絡して、論文中に明記されていない部分を明確にしようとしましたが、まだ返答はありません。
この時点で、どう進めるべきか分からなくなっています。自分のベースラインがすでに相手のものを下回っている状態で「改善」を正当化するのは難しいです。
ここで同じような再現性のギャップに直面した方はいらっしゃいますか？ とくに重要な詳細が欠けていたり、著者の反応がなかったりする場合に、どのように対処しましたか？ 実用的なアドバイスがとてもありがたいです。
[link] [comments]
