こんにちは r/MachineLearning,
私たちはオープンソースのデータセットツール AfterImage に、OpenSimula を追加しました。これは、Davidson らの Simula メカニズム設計レシピ（TMLR, PDF）の実験的な Python 実装で、さらにこの 研究ブログでも同様の枠組みが述べられています。
それが狙っている問題:
一部の SFT/eval のセットアップでは、「1つのプロンプト → 1つの回答」を重視するより、推論空間にわたる制御された多様性のほうが重要になります。つまり、どんな変動軸が存在するのか、それらをどう結合サンプリングするのか、そして JSONL ファイルに格納される前に生成物をどうストレステストするのか、ということです。
コードが実際に行うこと（概要）:
LLM が構築する 因子（factor）タクソノミー → 因子に対する 重み付きミックス・サンプリング → メタプロンプト による多様化（＋任意で複雑化）→ 要件クリティック ループでの洗練 → 検証可能な MCQ のための任意の ダブル・クリティック ゲート。成果物は、バージョン管理された opensimula/ のチェックポイント（マニフェスト、タクソノミーバンドル、サンプリング戦略）と、受理されたポイント用の追記のみの JSONL で構成されます。生成のメトリクス可観測性のために、他でも使っている同じ GenerationMonitor を差し込むこともできますし、小さなコールバックでシナリオを ConversationGenerator にブリッジすることも可能です。
重要な注意書き（必ずお読みください）:
- これは Google の製品ではなく、社内の何かの参照移植でもありません。論文に記載されたレシピを私たちが読み解いたものにすぎません。
- API は明示的に実験的であり、変更される可能性があります。
- タクソノミーの幅/深さの上限を外すと、コストとレイテンシーが爆発します。広いツリーは、チューニングして境界を調整しない限り、多くの構造化された呼び出しになります。
- ここで言う「メカニズム設計」は、データ生成プロセスを構造化するのに役立ちますが、モデルの崩壊や不適切な教師モデルを魔法のように修正するわけではありません。
コード & ドキュメント:
- リポジトリ（ライブラリ全体）: https://github.com/altaidevorg/afterimage
- Simula の例: https://github.com/altaidevorg/afterimage/tree/main/examples/simula
- 短い概要: https://afterimage.altai.dev/opensimula.html
- API リファレンス: https://afterimage.altai.dev/api/simula.html
もし何かフィードバックがあれば、本当にぜひ伺いたいです。
[link] [comments]
