広告

[D] 独立研究者としての投稿プロセスは奇妙だが面白かった。他の独立研究者へのアドバイス

Reddit r/MachineLearning / 2026/3/30

💬 オピニオンIdeas & Deep AnalysisTools & Practical UsageModels & Research

要点

  • 著者は、初めてarXivのプレプリントを投稿する独立研究者に向けて助言を共有し、アウトリーチや提案(提込)を行うのは、再現可能なデータと明確な実験的裏付けが揃ってからにすべきだと強調している。
  • 反復的な検証ワークフローを説明している。具体的には、交絡(confounds)を探して実験を壊そうと試み、実験をやり直し、コードを更新し、同じハードウェア上でビット単位まで一致する再現性(bit-for-bit reproducibility)を目指す。
  • 交絡の特定やアブレーション/テスト用スクリプトの生成にAIモデルを活用したことを報告している。さらに、それらのスクリプトを用いて、修正が意図した要因を本当に制御できているかを検証している。
  • 分析と執筆では、大量の指標(メトリクス)を扱って管理・解釈するためにAIツールを使用し、その後、論文のアウトラインを作成する。さらに、LLM(Claude Opus)を使ってアウトラインからドラフトを作成している。
  • 全体として、投稿プロセスを「規律あるパイプライン」として捉えることで、その道のりをより不思議なものにしない、という主旨の記事になっている。すなわち、まず再現性、その次に頑健性のテスト、データの統合、構造化された執筆を順に進める。

私は最近、独立した研究者として初めてarXivにプレプリントを投稿しましたが、その手続きはまるで迷路のようである一方、同時にかなり分かりやすいものでした。各個別の手順は比較的理解しやすく、完了もしやすかったのですが、そもそも自分がどの手順を踏む必要があるのかを理解するには、少し時間がかかりました。

私は、この分野の研究者たちが、どうやってあのような冷やかしメール(「私は無作為な一般人ですがAGIを思いつきました。連絡してください」という感じのやつ)を受け取るのかを、常に目にしています。私の目的は、有名な誰かと会話することではなく、自分が実際に行った実験についての論文を書いて投稿することでした。なので、そういうやり方では取り組みませんでした。以下が、私が踏んだ手順です:


Step 1: 再現可能な実験を行い、データを収集する

これは自明のはずですが、多くの「独立研究者」はそれを理解していないようなので、はっきり言います。確立された研究者があなたのアイデアに関わるための時間や労力を費やす価値はありません。あなたのアイデアを説明・特徴づけ・制限し、それを裏付けるデータがない限りです.

実際のデータがない状態でメールを送るべきではありません。私は、ほぼ完成した論文を持つまで、誰にもメールを送りませんでした。

Step 2: 自分の実験を壊そうとする

私は、自分の主張を支持しているように見えるデータを持っていました。なので、実験を壊そうとしました。交絡(confound)がないかを探そうとしました。交絡を考慮するように実験デザインを調整しました。実験をやり直して、データを再収集しました。不確実性の要因を減らすようにコードを更新し、その結果、同じハードウェア上での完全なビット単位の再現性を保証する実験フレームワークを書くところまで到達しました。

このステップでは、私は既存のAIモデルを大いに活用し、相談しました。自分で見つけた交絡もあれば、AIが見つけた交絡もありました。私は、修正によって本当に自分がコントロールしたかったものが抑えられていることを自分で証明できるように、AIにアブレーション用スクリプトとテスト用スクリプトを書かせました。

結果は持ちこたえました。次のステップへ。

Step 3: データを理解する

ここからが、論文を書くプロセスの始まりでした。私は大量のデータを集めました。(トレーニング中に100種類以上の異なる指標。)そのため、重要な指標を浮かび上がらせるのに役立つデータ分析ツールを書くために、AIツールを使いました。すると、実際に自分のデータの中に埋もれていた追加の発見がいくつか生まれました。

Step 4: 論文のアウトラインを作る

私は、具体的な参照(引用)、データ、その他そういったものを伴わない形で、論文が扱うべき内容のアウトラインを作成しました。つまり、「論文が何を言うべきか」を構造化して記述するようなものです。

Step 5: 論文を書く

これは反復的なプロセスで、私の場合はClaude Opusを使いながら、ゆっくりと自分のアウトラインを肉付けして実際の論文にしていきました。入れるべき具体的な事柄についてメモを作りました。最初のドラフトの大部分は手書きしました。この時点では、論文には図も表もなく、収集したデータへの具体的な参照(引用)もまだなく、より一般的な内容でした。

Step 6: 論文を洗練させる

ここでは、改訂に使っていたAI(Claude)が生のデータを照会できるようにするためのシンプルなMCPサーバーを書きました。私は、それに対して、書かれた論文に基づき、論文に直接反映されるべき指標をデータの中から見つけるようタスクを与えました。結果として、大幅な書き直しが必要になりました。というのも、実際の指標に合わせるために、論文本文をかなり変更しなければならなかったからです。

Step 7: 非学術研究者のための文献レビュー

この段階で、私は自分でもいくつか初期の検索を行いました。自分が関連していると思う用語を調べ、その中で引用すべきだと感じた論文を見つけました。次に、以下の手順を使いました:

  • Gemini、Claude、GPTそれぞれに対して、同等の「Deep Research」モードで、現在の状態の論文をアップロードする。
  • 自分が挙げた引用が関連していることを検証するタスクを与える。
  • そのリストに入っていないが、当然使われるべき引用(明らかな引用)を特定する追加タスクを与える。

3つのモデルを使うことで、私自身の確信と網羅性が高まりました。3つのモデルすべてが「欠けている」と指摘した引用もあり、それらは明らかな追記対象に見えました。あるモデルにだけ非常に説得力のある議論が見られた引用もあり、その場合は他の2つのモデルに「その引用を入れるべきかどうか」を意見させることができました。これにより、でたらめな(ハルシネーションの)引用を防ぐことにつながりました。

そして、最終的に提案された引用のリストをまとめ、3つのモデルすべてに対して、私が自分で引用を確認するために必要な情報を出してもらうよう依頼しました。私がそうした方法は、AIに「引用されている論文への直接リンク」または「同じ引用が載っている別の論文へのリンク」を、どちらか必ず提示させるようにしたことです。これにより、そこで引用情報を検証できるようにしました。

その後、私は実際に(ほとんどは目を通すだけでしたが)すべての引用を読みました。自分の論文の中核に関係しそうなものについては、実際に深く読み込みました。

次に、検証済みで選定した引用リストを持ってClaudeに戻り、それらの引用を論文へ統合するのを手伝ってほしいと依頼しました。ここでも、かなりの書き直しが発生しました。

Step 8: ラフ原稿を完成させる

この時点で、私は「実際の科学論文」にかなり近いものを手にしていました。どの指標を最も重要視して可視化すべきかを特定し、生のデータから図を作成しました。それらを論文に統合しました。

その後、論文全体を読み直しては編集・調整する、5〜10回ほどの往復を行いました。その大部分はAIツールと作業するのではなく、手作業で行いました。

Step 9: AIレビュー

次のステップとして、私は論文全体をPDFとしてエクスポートし、もう一度私が作業していた3つのモデルすべてに渡しました。ただし今回は、次の点に取り組むよう指示するプロンプトを与えました:

  • この論文は本当に新しい貢献をしているのか、それとも単に当然の結果を見栄え良く整えているだけなのか?
  • この論文は適切な引用をしているのか、それとも目立って欠けている、誤っている、あるいは誤用されている引用があるのか?
  • もし本当に新しい貢献をしているのなら、その貢献は独創的なのか、それとも他の研究の単なる拡張にすぎないのか?
  • 記述された手法は十分に詳細かつ具体的であり、論文単体から再現できるのか?
  • この論文は、他の人が理解できそうな書き方になっているか?
  • この論文は、結果や発見と整合する主張をしているか?もし、直近の結果を超えて拡張する主張や断言をしている場合、それらは適切に条件づけ(qualified)されているか、またはそれを行う動機と正当化が明確か?

これを、再び各モデルの「Deep Research」モードを使って行いました。すると、いくつか追加の見落とし(blindspots)が表面化し、実際に追加の実験の再設計、データ収集、そして論文のほぼ完全な書き直しにつながりました。私はステップ1〜9を6〜7回ほど繰り返したと思います。

Step 10: 冷やかしメール

ここからが、私は実際にその分野で活動している人たちにメールを送った段階です。最も妥当なやり方は、おそらく自分の論文で引用されており、私が行っている主張の中核になっている、論文の筆頭著者(lead authors)にメールすることだと判断しました。私の場合、自分の結果が、ある既存の論文を(機構的/理論的に)説明しているように見えたもの、あるいは自分の論文が別の領域へと拡張しているように見えるものが、いくつかありました。

その結果、私はJaerin Lee、Andrey Gromov、Evan Hubinger、Neel Nanda、そしてChristoper De Saに連絡しました。メールは次のような構成にしました:

"私は最近、[彼らの研究とどう関連しているか]という実験を行いました。その結果、[彼らの研究に関連する発見]が得られました。

[実験の一般的な説明と、主要な結果(topline results)。]

もし時間と関心があれば、ぜひこの論文のこの部分について、あなたの考えやフィードバックをいただけると嬉しいです。興味があれば、論文、コード、データを送れるように用意しています。

私は研究者として働いているわけではなく、この結果に独力で到達しました。

一度見ていただくことは可能でしょうか。それとも、もっと適切だと思われる連絡先の方を私に教えていただけますか?"

私が連絡した2人から返信があり、どちらも結果そのものに取り組み、実際の論文を送ってほしいと求めました。これにより、約1か月間ほとんどスカスカのメールのやり取りが続き、その間に両者は次のことをしました:

  1. 論文の少なくとも一部を実際に読んでいることが分かる質問をしてきました。
  2. 私が答えを持っていない質問もしてきました。というのも、それらは私が思い付いたアイデアや問いではなかったからです。
  3. 私の論文に関連し得るとして、私が見るべき別の論文に関する提案をしてくれました。

これは、2人が論文をレビューした時点で、付録を含めてほぼ45ページもの長さだったにもかかわらずでした。本文はほぼ30ページでした。

ステップ11:専門家からのフィードバックによるさらなる反復

私が述べたとおり、返信してきた2人はいずれも、私が答えを持っていない質問をしてきました。そのうちのいくつかは、私の特定の主張や取り組みに直接は関係していませんでしたが、中には関係するものもありました。そこで、その次の1か月の間に、そうした質問のいくつかに答えるための小さなツールを実際に書き、それらの結果を彼らに共有しました。この反復の一部は、実際に論文にも反映されました。

ステップ12:プレプリント用の最終原稿

この時点で、「下書きっぽい」種類の成果物の痕跡を取り除くために、全体を整えました。論文内のすべての図や直接的な指標が、論文とともに公開される「ゴールドデータ」と一致していることを確認しました。文字どおり、細部までくまなく確認しました。

ステップ13:arXivの推薦(エンドースメント)を依頼

私は、返信してきた2人に直接、プレプリントを公開し、より広いフィードバックを得られるようにするための arXiv カテゴリの推薦(エンドースメント)を出してもらえるかどうかを尋ねました。そのうちの1人はそうしてくれると言い、数日以内に、私の arXiv アカウントは arXiv 上で cs.LG カテゴリに投稿できるようになりました。

ステップ14:外部成果物とリポジトリの準備

論文で他の人が確認できるように参照される GitHub リポジトリを整理して準備しました。これには、論文の結果を正確に再現する方法を説明した README も含まれます。

ステップ15:arXiv に投稿

最後に、論文を arXiv に投稿しました。待機とレビューが約2日ほど続いた後、3月27日に公表されました。


今は、論文を NeurIPS 2026 に投稿するためにどう準備すべきかを調べています。私にとってはかなり大変です。というのも、本文が32ページあり、それをコアとなる主張が分からなくなることなく9ページに削れるかどうか不確かだからです。とはいえ、もしそれができると分かった場合に備えて、OpenReview 上で独立研究者のプロフィールを取得する手続きを進めています。この手続きには数週間かかることがあります。

私は、最初から論文を書こうという意図でこの一連のプロセスを始めたわけではありません。単に個人的な小さな実験として何かを学びたくて取り組んだだけで、大事そうだと思える結果が得られました。

でも、独立研究をしている他の人に言うなら:

  1. 他の研究者に連絡する前に、少なくとも論文のラフ原稿(それに使ったデータを含む)を用意しておくこと。
  2. 投稿/公開するために必要になる具体的な要件、アカウント、検証などをすべて調べること。
  3. 実際に投稿する前に「告知(アナウンス)戦略」を考えること。私は論文を投稿しましたが、ここでも他のML研究の議論の場でも確立された存在感がなかったので、基本的にはまだ誰も実際に見ていないと思います。あなたの論文や研究がどれほど素晴らしくても、それがそこにあると人に分からなければ、人は関わってきません。
投稿者

広告