やあ、r/LocalLLaMA！
新しいモデルを持って戻ってきました：Apex 1.6 Instruct 350M
これは基本的には Apex 1、Apex 1.5、または Apex 1.5 Coder のようなもの ですが、今年の3月の私の最も強力なチャットモデルです！
なぜ？
ファインチューニングのスクリプトで 指示データと事前学習データの比率を 2:1 に変更したからです - 比率は Alpaca-Cleaned が 2 倍、Fineweb-Edu-10BT が 1 倍です。
これにより、Apex 1.5 Coder と比較して世界知識が再び少し増えました（すでに Apex 1 および Apex 1.5 より大きな飛躍でした :D）！
コードと重みを HF でここからダウンロードできます: https://huggingface.co/LH-Tech-AI/Apex-1.6-Instruct-350M/
GGUF 形式で、例えば Ollama、LM Studio、または llama.cpp で使用できます。
Ollama の使用例：
ollama run hf.co/LH-Tech-AI/Apex-1.6-Instruct-350M
以下は、Apex 1.5 Coder と新しい Apex 1.6 を比較した概要です：
| カテゴリ | Apex 1.5 Coder | Apex 1.6 | 要約 |
|---|---|---|---|
| AIの定義 | 正確だが退屈 | はるかに複雑な文、より興味深く、リストを使い、構造がより良い。 | 1.6 はより教養があるように見える |
| ロジック（ミュンヘンからベルリンまでの移動時間を推定） | 正解（4時間）だが、回答が非常に短く、推測されそうだった！ | 間違い！ | ここでは1.5が勝っている |
| Python コード | 完全に間違っています！ | マークダウンのブロックを使っているが、コードが間違っている | 1.6 は格段に良い！ |
| フライト（NY-LDN） | 1.5時間のフライトだと思い、$20,000 になると考えている！ | バスに乗るのが良い理由を説明している！？ | どちらもほとんど幻覚を起こしていません。 |
| ユーモア（ジョーク） | ロボットの定義を示す！ | ロボットを詩的に描写しようとする… | 1.6 の方が良い。 |
| 説明（FFT） | 技術的には間違っている！ | 技術的にはほぼ正しい。 | 1.6 はより役に立つ。 |
新しいモデルで楽しんでください！ :D
近日公開予定: Axiom 1 Coder Instruct 350M - Apex 1 のベースモデルを基にしたコーディングと数学ロジックのモデル... お楽しみに！Axiom 1 Coder は Orca-Math と巨大な HTML 構造のブーストを用いて、1.6 で見られた論理の問題を修正することに焦点を当てます。
[リンク] [コメント]
