要約: retrieval-augmented generation (RAG) パイプラインを評価するには、グラウンドトゥルースを把握でき、時系列で構造化され、実世界のデータセットが通常提供しないアーティファクト間の特性を含むコーパスが必要です。既存のリソースとして Enron コーパスのようなものは、法的な曖昧さ、人口統計の偏り、および構造化されたグラウンドトゥルースの欠如を伴います。純粋にLLM生成の合成データは法的問題を解決しますが、より微妙な問題を引き起こします:生成モデルが文書間で自己矛盾する事実を幻覚的に生み出してしまうのを防ぐことができないのです。我々は OrgForge を紹介します。厳格な物理-認知境界を課すオープンソースのマルチエージェントシミュレーションフレームワークで、決定論的な Python エンジンが SimEvent のグラウンドトゥルースバスを維持し、巨大言語モデルは検証済みの提案によって制約された表層的な文章だけを生成します。アクター局所時計が全アーティファクトタイプにわたる因果的タイムスタンプの正確性を強制し、文書ごとにタイムスタンプを独立に採取した場合に生じるタイムラインの不整合のクラスを排除します。我々は、ベットウェイ中心性、時間的エッジ重みの減衰、そして Dijkstra のエスカレーションルーティングを介して、組織の行動を任意のLLMとは独立に支配する3つのグラフ動的サブシステムによるストレス伝播を形式化します。設定可能な N日間のシミュレーションを実行すると、OrgForge は Slack のスレッド、JIRA のチケット、Confluence ページ、Git のプルリクエスト、そしてメールを混在させて生成し、それらはすべて共有され、不変のイベントログに追跡可能です。さらに、インシデントごとにアーティファクトを横断する証拠グラフを蓄積する因果チェーン追跡サブシステム、繰り返し発生する故障クラスを識別するためのハイブリッド reciprocal-rank-fusion 再発検出器(逆順位融合再発検出器)、そしてベンダー警告、顧客苦情、人事関連の通信を、確率的ドロップシミュレーションを用いたゲート付き因果チェーンを介してルーティングする着信/発信メールエンジンを説明します。OrgForge は MIT ライセンスの下で利用可能です。
OrgForge: 検証可能な合成企業コーパスのためのマルチエージェントシミュレーションフレームワーク
arXiv cs.CL / 2026/3/17
📰 ニュースDeveloper Stack & InfrastructureTools & Practical UsageModels & Research
要点
- OrgForgeは、RAG(retrieval-augmented generation)パイプラインを評価するための検証可能な合成コーパスの作成を可能にする、オープンソースのマルチエージェントシミュレーションフレームワークです。
- PythonベースのSimEventグラウンドトゥルースバスとアクター局所時計を用いて、物理と認知の決定論的境界を強制し、Slackスレッド、Jiraチケット、Confluenceページ、Gitのプルリクエスト、メールなどの一貫したタイムスタンプを保証します。
- システムは複数のアーティファクトタイプを相互に組み合わせ、それらを共通の不変イベントログにリンクします。また、アーティファクト横断の証拠グラフサブシステムと、繰り返し発生する故障モードを特定する再発検出機を備えています。
- OrgForgeはMITライセンスで提供され、ゲート付きメールルーティングや確率的なドロップシミュレーションなどの機能を備え、LLMsに依存せずに組織のダイナミクスをモデル化する、設定可能なN日間シミュレーションをサポートします。




