現在取り組んでいるモデルを共有します:ColQwen3.5-v1は、Qwen3.5-4BをベースにColPaliの後期相互作用アプローチを用いて構築された45億パラメータモデルです。
現在、ViDoRe V1で#1(nDCG@5 0.917)を獲得しており、ViDoRe V3でも競争力があります。ハードネガティブマイニングや金融・表形式ドキュメントのドメイン特化を含む4フェーズでトレーニングを行いました。
Apache 2.0ライセンス、重みはHugging Faceにて公開中:https://huggingface.co/athrael-soju/colqwen3.5-v1 プルリクエストはhttps://github.com/illuin-tech/colpaliへのマージ申請中です。
トレーニングレシピの簡素化とさらなるドメイン対応を目指したv2を開発中で、まもなくViDoRe V3でSOTAの#1を達成することを目標としています。
ぜひ試してみたら教えてください!


![[ニューラルネットワーク] 今こそ起源を見つめる時 Ep.5 (最終話) 〜情熱の連鎖が明日を照らす〜](/_next/image?url=https%3A%2F%2Fassets.st-note.com%2Fproduction%2Fuploads%2Fimages%2F260885500%2Frectangle_large_type_2_f8df7c72d21f86c39d4096dd995f50d1.png%3Fwidth%3D219%26dpr%3D2%26frame%3D1%26format%3Djpg&w=3840&q=75)
