こんにちは、ローカルのヤマナシ(llamas)たち。Hugging FaceのLysandreです。
本日、SafetensorsをPyTorch Foundationの下へ、PyTorch(もちろん)、vLLM、DeepSpeed、Ray、そして最近発表されたHelionとともに、正式に移管することになりました。具体的には、商標とリポジトリはこれまでのHugging FaceではなくLinux Foundationが保有することになります。中立的なスチュワードシップとオープンなガバナンスです。
ローカルでの推論については、今日何も変わりません。同じ形式、同じAPI、同じHubの互換性です。PyTorchのコアの中で、どのように最適に統合していけるかを見極めるために、私たちはPyTorchチームと直接協力しています。
これにより実現できるのは、さらなる最適化のために、より広いエコシステムとよりオープンに連携できるようになることです。ファイル形式以上の話で、python/pytorchエコシステム全体で幅広くスピードアップの良い機会があります。異なるアクセラレータでのデバイス対応のローディング、tp/ppで最適化されたローディング、そしてもちろん新しい量子化/データ型のサポートです。
私たちは現在、今後数か月〜数年のロードマップを磨いているところで、ぜひ皆さんと一緒にそれを進めていければ嬉しいです。ここで述べたことのどれについても、またガバナンス面についても、質問には喜んでお答えします。
追伸:こちらにいくつか追加の詳細をまとめたブログ記事を書きました: https://huggingface.co/blog/safetensors-joins-pytorch-foundation
[リンク] [コメント]




