「Second Thoughts」生成の終盤を読み返して冒頭に戻すリファインメント・ループで小型LLMを改善

1.7Bモデルだと実際にいくつかのコードを生成できるので、いまは9Bモデルの学習を実行しています。その後、HumanEvalを（今回は完全版で）再実行します。記事の中で宿題の大部分は示しましたが、整えてからgithubに投稿する予定です。

それはRepeat Yourselfのdnhkng.github.io/posts/rys/ にある神経解剖学の調査結果に触発されたものです……これにより、自分の「リバースLLM」サイドカー・モデルを取り付けるための開始点と終点ができました（つまり末尾から読み取り、そしてその出力を先頭に戻し込む――ループで）。この場合、文法（シンタックス）に焦点を当て、非常に小さなモデルを劇的に改善できました。

また、両方のモデルで、最初の20だけでなくHumanEvalの全データセットを改めて実行します。