CodexLib（https://codexlib.io）を構築しました。圧縮され、AI最適化された形式で提供する、100以上の深い知識ベースを厳選したリポジトリです。
発想はこうです。長いドキュメントをコンテキストウィンドウに貼り付ける代わりに、ロゼッタのデコーダヘッダ付きの事前圧縮済みナレッジパックを使います。AIがその場で解凍し、同じ深さを約15%少ないトークンで得られます。
各パックは量子コンピューティング、心臓病学、サイバーセキュリティなど特定のドメインをカバーし、ML=機械学習、NN=ニューラルネットワークのような略語はロゼッタヘッダによってデコードされます。
プログラムによるアクセスのためのREST APIがあります。つまり、ドメインの専門知識をそのままエージェントやパイプラインに投入できます。
現在、50のドメインにまたがる100以上のパックをTokenShrink圧縮で生成しています。無料プランも利用可能です。
人々が特に役立つと感じそうなドメインは何でしょうか。そして、圧縮というアプローチがAIワークフローを作っている誰かにとって共感できるものかどうか、気になります。
[link] [comments]
