merve

merve

フォロー

Pedro Cuenca

pcuenq

フォロー

Sergio Paniego

sergiopaniego

フォロー

ben burtenshaw

burtenshaw

フォロー

Steven Zheng

Steveeeeeeen

フォロー

Alvaro Bartolome

alvarobartt

フォロー

Nathan Habib

SaylorTwift

フォロー

これらのモデルは本物です。Apache 2ライセンスで真にオープンであり、高品質でパレートフロンティア・アリーナのスコアが高く、音声を含むマルチモーダル対応。そしてサイズはどこでも使える（オンデバイスを含む）形です。Gemma 4は、これまでのファミリーの進歩を土台にしており、部品がきちんと噛み合うように作られています。リリース前のチェックポイントで行ったテストでは、その能力に驚かされました。あまりにすぐれているため、手を加えてうまく使うための良い微調整の例を見つけるのに苦労するほどでした。

Googleとコミュニティと協力して、あらゆる場所で使えるようにしました。transformers、llama.cpp、MLX、WebGPU、Rust――挙げればきりがありません。このブログ記事では、お気に入りのツールでどう作り込んでいくかを紹介しますので、ぜひご意見を聞かせてください！

　目次

• Gemma 4で新しくなったことは？
• 機能とアーキテクチャの概要
  • 概要：アーキテクチャ
  • 層ごとの埋め込み（PLE）
  • 共有KVキャッシュ
• マルチモーダル機能
• どこでもデプロイ
  • transformers
  • Llama.cpp
  • ローカルのエージェントに接続する
  • transformers.js
  • MLX
  • Mistral.rs
• 微調整 & デモ
  • TRlでの微調整
    • Vertex AI上でTRLを使った微調整
  • Unsloth Studioでの微調整
• Gemma 4を試す
• ベンチマーク結果
• 謝辞

Gemma 4で新しくなったことは？

Gemma-3nと同様に、Gemma 4は画像・テキスト・音声の入力をサポートし、テキスト応答を生成します。テキストデコーダは長いコンテキストウィンドウに対応したGemmaモデルに基づいています。画像エンコーダはGemma 3のものに似ていますが、重要な改善が2点あります。1つ目は可変アスペクト比、2つ目は、速度・メモリ・品質のバランスにおける最適点を見つけるために画像トークン入力数を設定可能にしたことです。すべてのモデルが画像（または動画）とテキスト入力をサポートし、小型のバリアント（E2BおよびE4B）は音声もサポートします。

Gemma 4は4つのサイズがあり、すべてベースモデルおよび指示（instruction）で微調整されています。

能力とアーキテクチャの概要

Gemma 4は、これまでのGemmaバージョンや他のオープンモデルで使われているいくつかのアーキテクチャ構成要素を活用し、Altupのような複雑であったり結論が出ない特徴は除外しています。これらの組み合わせは、ライブラリやデバイス間で高い互換性を持つことを目指して設計されたもので、長いコンテキストやエージェント型のユースケースを効率的にサポートしつつ、量子化にとっても理想的です。

上記のベンチマークに示される通り、この特徴の組み合わせ（学習データとレシピを含む）によって、31Bの密モデルは推定LMArenaスコア（テキストのみ）1452を達成し、26BのMoEは有効4Bのアクティブパラメータのみで1441に到達します。後で見るように、多モーダル動作は、少なくとも非公式かつ主観的なテストにおいて、テキスト生成と同程度に良好です。

これらがGemma 4における主なアーキテクチャ特性です：

• ローカルのスライディングウィンドウとグローバルのフルコンテキストの注意（attention）層を交互に使用します。小さな密モデルでは512トークンのスライディングウィンドウを用い、大きなモデルでは1024トークンを用います。
• デュアルRoPEの構成：スライディング層には標準のRoPE、グローバル層には比例（proportional）のRoPEを用い、より長いコンテキストを可能にします。
• 層ごとの埋め込み（Per-Layer Embeddings: PLE）：各デコーダ層に小さな残差信号を供給する、2つ目の埋め込みテーブル。
• 共有KVキャッシュ：モデルの最後のN層が、先行する層からキー・バリュー状態を再利用し、冗長なKV射影を排除します。
• 視覚（ビジョン）エンコーダ：学習済みの2D位置と多次元RoPEを使用します。元のアスペクト比を保持し、画像をいくつかの異なるトークン予算（70、140、280、560、1120）に基づいてエンコードできます。
• 音声エンコーダ：Gemma-3nのものと同じベースアーキテクチャを持つ、USMスタイルのコンフォーマー（conformer）です。

層ごとの埋め込み（PLE）

小型のGemma 4モデルにおける最も特徴的な機能の1つが、層ごとの埋め込み（Per-Layer Embeddings: PLE）です。これは以前のGemma-3nでも導入されていました。標準的なトランスフォーマーでは、各トークンは入力時に1つの埋め込みベクトルを受け取り、同じ初期表現が残差ストリームを通じてすべての層で基盤として用いられます。その結果、埋め込みがモデルに必要になり得る情報を前倒しで担うことを強制することになります。PLEは、主要な残差ストリームに並行する、より低次元の条件付け経路を追加します。各トークンについて、2つの信号を組み合わせて、すべての層に対して小さな専用ベクトルを生成します。1つはトークン同一性成分（埋め込み検索から得られるもの）で、もう1つはコンテキストに応じた成分（主要な埋め込みの学習済み射影から得られるもの）です。その後、各デコーダ層は対応するベクトルを使用します

共有KVキャッシュ

共有KVキャッシュは、推論時の計算とメモリの両方を削減する効率化の最適化です。モデルの最後の num_kv_shared_layers 層は、それぞれ自身のキーおよびバリューの射影を計算しません。代わりに、同じ注意（アテンション）タイプ（スライディングまたはフル）の最後の非共有層から得た K および V テンソルを 再利用します。

実際には、品質への影響は最小限ですが、長いコンテキストの生成やオンデバイス利用においては、メモリおよび計算の両面で大幅に効率的です。

マルチモーダル対応

テストの結果、Gemma 4 は標準で包括的なマルチモーダル機能をサポートしていることがわかりました。学習ミックスがどうなっていたのかは不明ですが、OCR、音声からテキストへの変換（speech-to-text）、物体検出、あるいは指さしといったタスクで成功しました。また、テキストのみの関数呼び出しとマルチモーダル関数呼び出し、推論、コード補完、そして修正もサポートしています。

ここでは、モデルサイズの異なるいくつかの推論例を示します。このノートブックで手軽に実行できます。デモをぜひ試してみて、このブログの下に共有してください！

物体検出と指さし

GUI検出

さまざまなサイズに対して、Gemma 4 を GUI 要素の検出と指さしでテストします。以下の画像とテキストプロンプトを使用します：「画像内の『レシピを表示』要素のバウンディングボックスは何ですか？」

このプロンプトに対し、モデルは検出されたバウンディングボックスを JSON 形式でネイティブに応答します。そのため、特別な指示や、文法に制約をかけた生成は不要です。座標は入力の次元に対して相対的な、画像サイズ 1000×1000 を参照していることがわかりました。

下に、わかりやすいように出力を可視化します。返ってきた JSON からバウンディングボックスを解析します：json [ {"box_2d": [171, 75, 245, 308], "label": "view recipe element"} ]

返却形式: {"translated": "翻訳されたHTML"}

E2B	E4B
26/A4B	31B

物体検出

私たちは、日常の物体を検出するためのモデルをテストします。ここでは、自転車を検出するよう依頼し、さまざまなモデルの出力を比較します。前のケースと同様に、json からバウンディングボックスを解析し、それを画像空間の座標に変換します。

E2B	E4B	26B/A3B	31B

マルチモーダルの推論と関数呼び出し

Gemma 4 に、Gemini 3 で作成したページを復元するための HTML コードを書かせました。以下に、このためのコードを示します。思考を有効化し、各モデルに最大 4000 個の新しいトークンを生成させて、確実に実行できるようにしています。

Gemini が生成した Web サイト（参照）	Gemini が再現した画像

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": "https://huggingface.co/datasets/merve/vlm_test_images/resolve/main/landing_page.png",
            },
            {"type": "text", "text": "このページのためのHTMLコードを書いてください。"},
        ],
    }
]
inputs = processor.apply_chat_template(
    messages,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    add_generation_prompt=True,
    enable_thinking=True,
).to(model.device)
output = model.generate(**inputs, max_new_tokens=4000)
input_len = inputs.input_ids.shape[-1]
generated_text_ids = output[0][input_len:]
generated_text = processor.decode(generated_text_ids, skip_special_tokens=True)
result = processor.parse_response(generated_text)
print(result["content"])

返却形式: {"translated": "翻訳されたHTML"}

E2B	E4B

31B	26/A4B

ビデオ理解

小型のGemma 4モデルは音声付きの動画を入力できる一方で、大型のモデルは音声なしの動画を入力できます。モデルは明示的に動画に対して事後学習（post-trained）されているわけではありませんが、音声あり・なしの両方で動画を理解できます。特に音声の面で強みがあります。

messages = [
    {
        "role": "user",
        "content": [
            {"type": "video", "url": "https://huggingface.co/datasets/merve/vlm_test_images/resolve/main/concert.mp4"},
            {"type": "text", "text": "What is happening in the video? What is the song about?"},
        ],
    },
]
inputs = processor.apply_chat_template(
    messages,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    add_generation_prompt=True,
    load_audio_from_video=True, # disable this for larger models
).to(model.device)
output = model.generate(**inputs, max_new_tokens=200)
input_len = inputs.input_ids.shape[-1]
generated_text_ids = output[0][input_len:]
generated_text = processor.decode(generated_text_ids, skip_special_tokens=True)
print(result["content"])

Captioning

私たちは、キャプショニングに関してすべてのモデルをテストしました。すべてのチェックポイントは非常に良好で、複雑なシーンにおけるニュアンスを正確に捉えます。 使用している画像は次のとおりで、プロンプトは「この画像のための、1つの詳細なキャプションを書いてください。」です。

messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://huggingface.co/datasets/merve/vlm_test_images/resolve/main/bird.png"},
            {"type": "text", "text": "Write single detailed caption for this image."},
        ],
    },
]
inputs = processor.apply_chat_template(
    messages,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    add_generation_prompt=True,
).to(model.device)
output = model.generate(**inputs, max_new_tokens=512)
input_len = inputs.input_ids.shape[-1]
generated_text_ids = output[0][input_len:]
generated_text = processor.decode(generated_text_ids, skip_special_tokens=True)
result = processor.parse_response(generated_text)
print(result["content"])

Audio Question Answering

これらのモデルは、音声（オーディオ）に含まれる発話に関する質問に答えるよう訓練されています。音楽や、発話ではない音は訓練データに含まれていません。

messages = [
    {
        "role": "user",
        "content": [
            {"type": "audio", "url": "https://huggingface.co/datasets/hf-internal-testing/dummy-audio-samples/resolve/main/obama_first_45_secs.mp3"},
            {"type": "text", "text": "Can you describe this audio in detail?"},
        ],
    },
]

返却形式: {"translated": "翻訳されたHTML"}

文字起こしを行いたい場合の例を示します：

messages = [
    {
        "role": "user",
        "content": [
            {"type": "audio", "url": "https://huggingface.co/datasets/hf-internal-testing/dummy-audio-samples/resolve/main/obama_first_45_secs.mp3"},
            {"type": "text", "text": "音声を文字起こししますか？"},
        ],
    },
]

inputs = processor.apply_chat_template(
    messages,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    add_generation_prompt=True,
).to(model.device)

output = model.generate(
    **inputs,
    max_new_tokens=1000,
    do_sample=False,
)

print(processor.decode(output[0], skip_special_tokens=True))

マルチモーダル・ファンクション・コーリング

モデルをテストするために、画像に表示されている場所の天気を取得するよう依頼します。

import re 
WEATHER_TOOL = {
    "type": "function",
    "function": {
        "name": "get_weather",
        "description": "特定の場所の現在の天気を取得します。",
        "parameters": {
            "type": "object",
            "properties": {
                "city": {"type": "string", "description": "都市名"},
            },
            "required": ["city"],
        },
    },
}
tools = [WEATHER_TOOL]
messages = [
    {"role": "user", "content": [
        {"type": "image", "image": "https://huggingface.co/datasets/merve/vlm_test_images/resolve/main/thailand.jpg"},
        {"type": "text", "text": "この画像の都市はどこですか？そこですぐ今の天気を確認してください。"},
    ]},
]
inputs = processor.apply_chat_template(
    messages,
    tools=[WEATHER_TOOL],
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    add_generation_prompt=True,
    enable_thinking=True,
).to(model.device)
output = model.generate(**inputs, max_new_tokens=1000)
input_len = inputs.input_ids.shape[-1

返却形式: {"translated": "翻訳されたHTML"}generated_text_ids = output[0][input_len:]
generated_text = processor.decode(generated_text_ids, skip_special_tokens=True)
result = processor.parse_response(generated_text)
print(result["content"])

どこでもデプロイ

Gemma 4 は、多くのオープンソースの推論エンジンに対する day-0 のサポートを備えており、ツール呼び出しやエージェントに最適です。また、多くのハードウェアバックエンドで動作できる ONNX チェックポイントも提供しており、エッジデバイスやブラウザでのユースケースを可能にします！

transformers

Gemma 4 は、最初から get-go での first-class な transformers サポートを備えています。この統合により、モデルを bitsandbytes、PEFT、TRL のような他のライブラリと一緒に使うことができます。transformers の最新版をインストールするようにしてください。

pip install -U transformers

小さな Gemma 4 モデルで推論を行う最も簡単な方法は、any-to-any パイプラインを使うことです。次のように初期化できます。

from transformers import pipeline
pipe = pipeline("any-to-any", model="google/gemma-4-e2b-it")

次に、以下のように画像とテキストを渡せます。

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": "https://huggingface.co/datasets/merve/vlm_test_images/resolve/main/thailand.jpg",
            },
            {"type": "text", "text": "ここへの旅行のアドバイスはありますか？"},
        ],
    }
]
output = pipe(messages, max_new_tokens=100, return_full_text=False)
output[0]["generated_text"]
# 画像から判断すると、壮麗で装飾の施された**仏教寺院または仏塔**が写っているように見えます。おそらくタイ、ミャンマー、カンボジアなどの東南アジアのどこかでしょう。以下に、一般的な旅行アドバイスをいくつか挙げます。.

動画で推論する場合は、load_audio_from_video 引数を使って音声トラックを含められます。

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "video",
                "image": "https://huggingface.co/datasets/merve/vlm_test_images/resolve/main/rockets.mp4",
            },
            {"type": "text", "text": "この動画では何が起きていますか？"},
        ],
    }
]
pipe(messages, load_audio_from_video=True)

さらに一段下のレベルでは、AutoModelForMultimodalLM クラスを使って Gemma 4 を読み込めます。特にファインチューニングに便利です。組み込みのチャットテンプレートが入力のフォーマットを正しく処理してくれますので、プロンプトを手動で組み立てる際の微妙なミスを防ぐために、必ずそれを使ってください。

from transformers import AutoModelForMultimodalLM, AutoProcessor
model = AutoModelForMultimodalLM.from_pretrained("google/gemma-4-E2B-it", device_map="auto")
processor = AutoProcessor.from_pretrained("google/gemma-4-E2B-it")
messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "video",
                "image": "https://huggingface.co/datasets/merve/vlm_test_images/resolve/main/rockets.mp4",
            },
            {"type": "text", "text": "この動画では何が起きていますか？"},
        ],
    }
]
inputs = processor.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_dict=True,
    return_tensors="pt"
).to(model.device)

generated_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids_trimmed = [
    out_ids[len(in_ids) :] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
]
output_text = processor.batch_decode(
    generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False
)
print(output_text)

Llama.cpp

Gemma 4 モデルは最初から、llama.cpp で画像+テキストに対応しています！これにより、Gemma 4 をあなたのお気に入りのローカルアプリすべてで使えるようになります。たとえば llama-cpp server、lmstudio、Jan などに加えて、Metal や CUDA など多くのバックエンドで動作する Pi のようなコーディングエージェントでも利用できます。

以下のように llama-cpp をインストールできます。

brew install llama.cpp # MacOS
winget install llama.cpp # Windows

次に、OpenAI API と互換性のあるサーバーを起動します。コマンド末尾の quantization（量子化）スキームを、希望する精度に置き換えてください。

llama-server -hf ggml-org/gemma-4-E2B-it-GGUF

llama.cpp をさまざまなコーディングエージェントやローカルアプリと組み合わせるための その他のオプションはこちら のリンクを確認してください。このコレクション にあるすべての GGUF チェックポイントを見つけられます。

ローカルエージェントを接続する

新しいモデルが、openclaw, hermes, pi, open code のようなエージェントと一緒にローカルで動作するように調整しました。すべて llama.cpp のおかげです！以下を実行して、すぐに Gemma 4 を試してください。

まず、ローカルサーバーを起動します：

llama-server -hf ggml-org/gemma-4-26b-a4b-it-GGUF:Q4_K_M

hermes の場合：

hermes model

openclaw の場合：

openclaw onboard

pi の場合は、~/.pi/agent/models.json を定義します：

{
  "providers": {
    "llama-cpp": {
      "baseUrl": "http://localhost:8080/v1",	
      "api": "openai-completions",
      "apiKey": "none",
      "models": [
        {
          "id": "ggml-org-gemma-4-26b-4b-gguf"
        }
      ]
    }
  }
}

open code の場合は、~/.config/opencode/opencode.json を定義します：

{
  "$schema": "https://opencode.ai/config.json",
  "provider": {
    "llama.cpp": {
      "npm": "@ai-sdk/openai-compatible",
      "name": "llama-server (local)",
      "options": {
        "baseURL": "http://127.0.0.1:8080/v1"
      },
      "models": {
        "gemma-4-26b-4b-it": {
          "name": "Gemma 4 (local)",
          "limit": {
            "context": 128000,
            "output": 8192
          }
        }
      }
    }
  }
}

transformers.js

transformers.js により、Gemma 4 をブラウザ内で直接実行できます。テキストのみ、画像＆amp;テキスト、音声＆amp;テキストの推論を詳しく確認するには、こちら のモデルカードを参照してください。また、モデルをテストできるデモも こちら で用意しました。