Ryzen AI Max+ 395 を搭載した HP zbook ultra g1a でテストしました。
- 0、10k、40k、70k のコンテキスト深さでテストを試みました。結果が欠落している場合、テストは失敗しました。
- gpt-oss-20b と qwen3.5 のコンテキストサイズを最大値まで増やしました。他の設定には触れていません。これが、他の多くのモデルに深いコンテキストの結果がない理由です。
deepseek-r1-0528:8b
| コンテキスト深さ | pp | tg |
| 0 | 444.8 | 10.3 |
| 10000 | 401.7 | 8.1 |
deepseek-r1:8b
| コンテキスト深さ | pp | tg |
| 0 | 425.9 | 10.7 |
| 10000 | 2785.8 | 10.7 |
| 20000 | 5663.5 | 10.7 |
| 40000 | 9741.9 | 10.7 |
| 70000 | 16604.7 | 10.7 |
gemma3:1b
| コンテキスト深さ | pp | tg |
| 0 | 998.5 | 37.1 |
| 10000 | 1250.2 | 33.0 |
| 20000 | 1263.1 | 29.6 |
gemma3:4b
| コンテキスト深さ | pp | tg |
| 0 | 687.9 | 17.4 |
| 10000 | 970.9 | 16.3 |
| 20000 | 963.6 | 15.3 |
| 40000 | 909.0 | 13.8 |
| 70000 | 829.9 | 11.9 |
gpt-oss:20b
| コンテキスト深さ | pp | tg |
| 0 | 303.2 | 19.1 |
| 10000 | 490.5 | 16.5 |
| 20000 | 457.7 | 14.5 |
| 40000 | 362.7 | 11.6 |
| 70000 | 271.8 | 9.0 |
gpt-oss-sg:20b
| コンテキスト深さ | pp | tg |
| 0 | 305.1 | 19.1 |
lfm2:1.2b
| コンテキスト深さ | pp | tg |
| 0 | 2039.6 | 63.8 |
| 10000 | 2457.5 | 52.5 |
| 20000 | 2168.9 | 45.3 |
lfm2:2.6b
| コンテキスト深さ | pp | tg |
| 0 | 941.5 | 29.0 |
| 10000 | 1218.0 | 26.4 |
| 20000 | 1130.7 | 24.0 |
lfm2.5-it:1.2b
| コンテキスト深さ | pp | tg |
| 0 | 2142.2 | 63.7 |
| 10000 | 2462.1 | 52.7 |
| 20000 | 2196.9 | 45.2 |
lfm2.5-tk:1.2b
| コンテキスト深さ | pp | tg |
| 0 | 2202.9 | 64.0 |
| 10000 | 2528.1 | 53.5 |
| 20000 | 2197.8 | 45.8 |
lfm2-trans:2.6b
| コンテキスト深さ | pp | tg |
| 0 | 1003.5 | 29.7 |
| 10000 | 1241.1 | 26.5 |
| 20000 | 1136.7 | 23.9 |
llama3.2:1b
| コンテキスト深さ | pp | tg |
| 0 | 1722.5 | 57.0 |
| 10000 | 1890.1 | 40.9 |
| 20000 | 1433.0 | 31.6 |
| 40000 | 973.1 | 21.9 |
| 70000 | 647.7 | 15.1 |
llama3.2:3b
| 文脈の深さ | pp | tg |
| 0 | 815.6 | 22.6 |
| 10000 | 835.0 | 15.5 |
| 20000 | 646.9 | 11.7 |
| 40000 | 435.8 | 7.8 |
| 70000 | 290.9 | 5.3 |
medgemma1.5:4b
| 文脈の深さ | pp | tg |
| 0 | 714.7 | 17.3 |
| 10000 | 966.7 | 16.3 |
| 20000 | 954.9 | 15.4 |
| 40000 | 911.0 | 13.8 |
| 70000 | 831.6 | 11.9 |
medgemma:4b
| 文脈の深さ | pp | tg |
| 0 | 699.7 | 17.3 |
| 10000 | 958.3 | 15.4 |
| 20000 | 959.2 | 15.3 |
| 40000 | 906.6 | 12.7 |
phi4-mini-it:4b
| 文脈の深さ | pp | tg |
| 0 | 784.4 | 19.2 |
| 10000 | 741.0 | 13.2 |
| 20000 | 563.6 | 10.1 |
qwen2.5-it:3b
| 文脈の深さ | pp | tg |
| 0 | 853.5 | 22.6 |
| 10000 | 845.1 | 15.0 |
| 20000 | 678.7 | 11.2 |
qwen2.5vl-it:3b
| 文脈の深さ | pp | tg |
| 0 | 831.2 | 22.9 |
| 10000 | 824.2 | 12.7 |
| 20000 | 671.8 | 11.2 |
qwen3:1.7b
| 文脈の深さ | pp | tg |
| 0 | 1286.1 | 35.7 |
| 10000 | 1289.8 | 20.8 |
| 20000 | 996.8 | 14.7 |
qwen3:4b
| 文脈の深さ | pp | tg |
| 0 | 607.7 | 17.6 |
| 10000 | 535.3 | 12.1 |
| 20000 | 405.4 | 9.3 |
qwen3.5:4b
| 文脈の深さ | pp | tg |
| 0 | 376.4 | 12.6 |
| 10000 | 485.2 | 11.1 |
| 20000 | 470.6 | 9.6 |
| 70000 | 39.7 | 6.4 |
qwen3:8b
| 文脈の深さ | pp | tg |
| 0 | 370.0 | 10.3 |
| 10000 | 403.0 | 8.2 |
| 20000 | 320.5 | 6.7 |
| 40000 | 228.4 | 5.0 |
| 70000 | 159.0 | 3.6 |
qwen3-it:4b
| 文脈の深さ | pp | tg |
| 0 | 596.3 | 17.8 |
| 10000 | 534.8 | 11.8 |
| 20000 | 402.4 | 9.1 |
qwen3-tk:4b
| 文脈の深さ | pp | tg |
| 0 | 620.8 | 17.6 |
| 10000 | 529.2 | 12.0 |
| 20000 | 399.0 | 9.1 |
qwen3vl-it:4b
| 文脈の深さ | pp | tg |
| 0 | 600.3 | 17.6 |
| 10000 | 532.7 | 12.0 |
| 20000 | 403.4 | 9.1 |
translategemma:4b
| 文脈の深さ | pp | tg |
| 0 | 740.3 | 17.4 |
| 20000 | 958.8 | 15.4 |
| 70000 | 830.6 | 11.1 |
deepseek-r1-0528:8b
| 文脈の深さ | pp | tg |
| 0 | 444.8 | 10.3 |
| 10000 | 401.7 | 8.1 |
deepseek-r1:8b
| 文脈の深さ | pp | tg |
| 0 | 425.9 | 10.7 |
| 10000 | 2785.8 | 10.7 |
| 20000 | 5663.5 | 10.7 |
| 40000 | 9741.9 | 10.7 |
| 70000 | 16604.7 | 10.7 |
gemma3:1b
| 文脈の深さ | pp | tg |
| 0 | 998.5 | 37.1 |
| 10000 | 1250.2 | 33.0 |
| 20000 | 1263.1 | 29.6 |
gemma3:4b
| 文脈の深さ | pp | tg |
| 0 | 687.9 | 17.4 |
| 10000 | 970.9 | 16.3 |
| 20000 | 963.6 | 15.3 |
| 40000 | 909.0 | 13.8 |
| 70000 | 829.9 | 11.9 |
gpt-oss:20b
| 文脈の深さ | pp | tg |
| 0 | 303.2 | 19.1 |
| 10000 | 490.5 | 16.5 |
| 20000 | 457.7 | 14.5 |
| 40000 | 362.7 | 11.6 |
| 70000 | 271.8 | 9.0 |
gpt-oss-sg:20b
lfm2:1.2b
| 文脈の深さ | pp | tg |
| 0 | 2039.6 | 63.8 |
| 10000 | 2457.5 | 52.5 |
| 20000 | 2168.9 | 45.3 |
lfm2:2.6b
| 文脈の深さ | pp | tg |
| 0 | 941.5 | 29.0 |
| 10000 | 1218.0 | 26.4 |
| 20000 | 1130.7 | 24.0 |
lfm2.5-it:1.2b
| 文脈の深さ | pp | tg |
| 0 | 2142.2 | 63.7 |
| 10000 | 2462.1 | 52.7 |
| 20000 | 2196.9 | 45.2 |
lfm2.5-tk:1.2b
| 文脈の深さ | pp | tg |
| 0 | 2202.9 | 64.0 |
| 10000 | 2528.1 | 53.5 |
| 20000 | 2197.8 | 45.8 |
lfm2-trans:2.6b
| 文脈の深さ | pp | tg |
| 0 | 1003.5 | 29.7 |
| 10000 | 1241.1 | 26.5 |
| 20000 | 1136.7 |
> 23.9 |
llama3.2:1b
| 文脈の深さ | pp | tg |
| 0 | 1722.5 | 57.0 |
| 10000 | 1890.1 | 40.9 |
| 20000 | 1433.0 | 31.6 |
| 40000 | 973.1 | 21.9 |
| 70000 | 647.7 | 15.1 |
llama3.2:3b
| 文脈の深さ | pp | tg |
| 0 | 815.6 | 22.6 |
| 10000 | 835.0 | 15.5 |
| 20000 | 646.9 | 11.7 |
| 40000 | 435.8 | 7.8 |
| 70000 | 290.9 | 5.3 |
medgemma1.5:4b
| 文脈の深さ | pp | tg |
| 0 | 714.7 | 17.3 |
| 10000 | 966.7 | 16.3 |
| 20000 | 954.9 | 15.4 |
| 40000 | 911.0 | 13.8 |
| 70000 | 831.6 | 11.9 |
medgemma:4b
| 文脈の深さ | pp | tg |
| 0 | 699.7 | 17.3 |
| 10000 | 958.3 | 15.4 |
| 20000 | 959.2 | 15.3 |
| 40000 | 906.6 | 12.7 |
phi4-mini-it:4b
| 文脈の深さ | pp | tg |
| 0 | 784.4 | 19.2 |
| 10000 | 741.0 | 13.2 |
| 20000 | 563.6 | 10.1 |
qwen2.5-it:3b
| 文脈の深さ | pp | tg |
| 0 | 853.5 | 22.6 |
| 10000 | 845.1 | 15.0 |
| 20000 | 678.7 | 11.2 |
qwen2.5vl-it:3b
| 文脈の深さ | pp | tg |
| 0 | 831.2 | 22.9 |
| 10000 | 824.2 | 12.7 |
| 20000 | 671.8 | 11.2 |
qwen3:1.7b
| 文脈の深さ | pp | tg |
| 0 | 1286.1 | 35.7 |
| 10000 | 1289.8 | 20.8 |
| 20000 | 996.8 | 14.7 |
qwen3:4b
| 文脈の深さ | pp | tg |
| 0 | 607.7 | 17.6 |
| 10000 | 535.3 | 12.1 |
| 20000 | 405.4 | 9.3 |
qwen3.5:4b
| 文脈の深さ | pp | tg |
| 0 | 376.4 | 12.6 |
| 10000 | 485.2 | 11.1 |
| 20000 | 470.6 | 9.6 |
| 70000 | 39.7 | 6.4 |
qwen3:8b
| 文脈の深さ | pp | tg |
| 0 | 370.0 | 10.3 |
| 10000 | 403.0 | 8.2 |
| 20000 | 320.5 | 6.7 |
| 40000 | 228.4 | 5.0 |
| 70000 | 159.0 | 3.6 |
qwen3-it:4b
| 文脈の深さ | pp | tg |
| 0 | 596.3 | 17.8 |
| 10000 | 534.8 | 11.8 |
| 20000 | 402.4 | 9.1 |
qwen3-tk:4b
| コンテキストの深さ | pp | tg |
| 0 | 620.8 | 17.6 |
| 10000 | 529.2 | 12.0 |
| 20000 | 399.0 | 9.1 |
qwen3vl-it:4b
| コンテキストの深さ | pp | tg |
| 0 | 600.3 | 17.6 |
| 10000 | 532.7 | 12.0 |
| 20000 | 403.4 | 9.1 |
translategemma:4b
| コンテキストの深さ | pp | tg |
| 0 | 740.3 | 17.4 |
| 20000 | 958.8 | 15.4 |
| 70000 | 830.6 | 11.1 |
投稿者
/u/spaceman_ [リンク] [コメント]