シリーズの最新のcolqwen3.5-4.5Bモデルを共有できてうれしいです。
ColQwen3.5-4.5B-v3は、公開待機中のMTEB ViDoReリーダーボードで平均75.67の値で#1（平均）です。パラメータ数は約半分、埋め込み次元は約13分の1、前回の#1モデルのメモリ使用量の約半分です。
所感: V3はV3 English u@5でv2をわずか上回り(0.6034 vs 0.6023)、大きな計算量に対して僅かな向上です。実際の勝利はV2ベンチマークの跳躍と、V3で80億パラメータのモデルを超えたことでした。そこが、さらなる最適化とモデルおよびトレーニングデータの制限を受け入れる境界を引く決断をした理由です。
完全な評価の経緯は公開されており、試したすべての候補の結果ファイルが含まれています。
リンク：
- モデル（V1、V2、V3）： https://huggingface.co/athrael-soju/colqwen3.5-4.5B-v3（モデルカードは修正が必要な場合があります）
- すべての評価ファイルは公開していますので、私の課題を確認したい場合は： https://huggingface.co/datasets/athrael-soju/colqwen-optimization-trail
- ブログ投稿における完全なトレーニング手法とケーススタディ： https://athrael.net/blog/research/diminishing-returns-benchmark-optimization
- Mtebリーダーボード（左サイドバーからViDoRe V3を選択）： https://huggingface.co/spaces/mteb/leaderboard
ColQwen3.5-4.5B-v3はすでにcolpali-engineとvLLM（ROCm + CUDA）で公式サポートされているため、実際に使用できます。
ライセンス: Apache 2.0
現在、9Bバリアントをよりシンプルなセットアップでトレーニングしており、それが完了したら投稿します。
[リンク] [コメント]
