[R] 独自のPyTorch強化学習アルゴリズムを実装しベンチマークするためのベストプラクティスは？

こんにちは。強化学習アルゴリズムの作成に取り組んでいます。理論は完成しているので、次はそれをいくつかのGymベンチマークでテストし、他のいくつかの既知のアルゴリズムと比較したいと思っています。そのため、いくつか質問があります：

1. カスタムのPyTorchアルゴリズムを構築する方法を学ぶための、良いリソースはありますか？
2. 私のコードはどの程度最適化されている必要、またはどの程度クリーンである必要がありますか？ 片付けに時間を使ったり、適切なディレクトリ構造を作ったりするべきですか？
3. 既知の目標環境、または標準（スタンダード）はありますか？ コードをdocker化する必要がありますか？ おそらくMacの環境で書くことになります。Linuxでも動くことを確実にする必要もありますか？