データでプログラミング：生コーパスから自己改善するLLMのためのテスト駆動型データエンジニアリング

要旨: 文書から大規模言語モデルへ専門的な人間の知識を確実に移植することは、人工知能における根本的な課題であり続けています。ドメインコーパスでのファインチューニングにより大幅な能力向上が可能になりましたが、この手続きはフィードバックなしで動作します。つまり、モデルがドメイン課題で失敗した場合、学習データのどこが不足しているのかを診断する方法がなく、唯一の対処は無差別に追加データを加えることです。ここでは、ソースコーパスから抽出された構造化知識表現が、学習データと評価の双方の共通基盤として機能する場合、データエンジニアリングの完全なライフサイクルが、ソフトウェア開発ライフサイクルに対して正確かつ実行可能な形で対応づけられることを示します。具体的には、学習データはモデルが学ぶべき内容を指定するソースコードになり、モデル学習はコンパイルに相当し、ベンチマークはユニットテストになり、失敗に基づくデータ修復はデバッグになります。この対応関係のもとで、モデルの失敗は概念レベルの不足と推論連鎖の断絶に分解され、それらはデータの特定の欠陥に遡って追跡でき、狙いを定めたパッチによって修復可能です。さらに、各修復サイクルは、一般能力を低下させることなく、モデル規模やアーキテクチャのあらゆる範囲で一貫した改善を生み出します。私たちはこの原理を「Programming with Data（データによるプログラミング）」として形式化し、自然科学、工学、バイオメディシン、社会科学にまたがる16の分野で具体化します。構造化知識ベース、ベンチマークスイート、学習コーパスをオープンリソースとして公開します。学習データとモデルの振る舞いの関係が構造的に追跡可能であり、体系的に修復可能であることを示すことで、本研究は、人間の専門知識を言語モデルへ信頼性高く実装するための原理に基づく基盤を確立します。