大規模言語モデルは手法上の欠陥を検出できるか：UAVベース救助作戦のジェスチャー認識に基づく深層学習の証拠

要旨: 信頼できる評価は機械学習研究において不可欠ですが、手法上の欠陥（とりわけデータ漏洩）が、報告された結果の妥当性をなおも損なっています。本研究では、大規模言語モデル（LLM）が、公開された研究に存在するそのような問題を見つけ出す能力を備えた独立した分析エージェントとして機能し得るかどうかを検討します。事例研究として、少人数で人間中心のデータセットに関する、ほぼ完全な精度を報告しているジェスチャー認識論文を分析します。まず、評価プロトコルが、非独立な学習・テスト分割に起因する被験者レベルのデータ漏洩と整合していることを示します。次に、この欠陥が6つの最先端のLLMによって、先行する文脈なしに同一のプロンプトを用いて原論文をそれぞれ独立に分析することで検出できるかどうかを評価します。すべてのモデルは一貫して評価が不適切であることを特定し、重なり合う学習曲線、最小の一般化ギャップ、ほぼ完全な分類結果といった指標によって、報告された性能が非独立なデータ分割に起因すると結論づけます。これらの結果は、LLMが、公開された成果物のみに基づいて一般的な方法論上の問題を検出できることを示唆しています。決定的ではありませんが、一致した判断は、再現性の向上や科学的監査を支援する補完的なツールとしての可能性を浮き彫りにしています。