HordeでHosting Assistant_Pepe_70B！

Reddit r/LocalLLaMA / 2026/3/28

📰 ニュースDeveloper Stack & InfrastructureSignals & Early TrendsTools & Practical Usage

共有:

要点

この投稿では、「Assistant_Pepe_70B」がHugging Faceでホストされ、Horde経由で利用可能になっていることを発表しています。2xA6000 GPUで非常に高い可用性をうたっています。
FP8の精度で動作し、16kのコンテキスト長で実行されることを指定しています。FP8モードでの精度はおよそ99.99%であると主張しています。
著者は、モデルを試すためのインターフェースとしてLite KoboldAI（FREE、ログイン不要）を読者に案内しています。
ホスティングの品質や利用方法について改善するために、ユーザーからのフィードバックを明確に歓迎しています。
この更新は、Hordeのような分散推論基盤を通じて、大規模なローカル/ホスト型LLMを実運用するための現実的な選択肢を強調しています。

みなさん、こんにちは。

2xA6000でHorde上に、非常に高い可用性でhttps://huggingface.co/SicariusSicariiStuff/Assistant_Pepe_70B をホスティングしています。

16kコンテキストでのFP8精度（FP8は約99.99%の精度です）。

（ https://lite.koboldai.net/ 無料、ログイン不要）

ぜひ試してみてください！
（フィードバックはいつでも歓迎します）