AI Navigate

推論特化AIが「木漏れ日」を「Drought Day(干ばつの日)」と訳した話——deepseek-r1:7b 24問テスト

Zenn / 3/16/2026

💬 OpinionIdeas & Deep AnalysisModels & Research

Key Points

  • 推論特化AIの24問テストで、木漏れ日をDrought Dayと誤訳した具体例が翻訳品質の限界を可視化した。
  • 推論最適化と翻訳の意味適合性の関係を示唆し、モデル設計・評価の新たな検討ポイントを提示した。
  • 文脈理解と語彙選択の微妙な差がエンドユーザー体験に直接影響する可能性があることを指摘した。
  • 今後の分析では推論コストと翻訳品質のトレードオフ、誤訳リスクの軽減手法について深掘りが求められる。
「推論特化」と聞いて、少し期待した。DeepSeek-R1は2025年1月にOpenAI o1と同等と言われて話題になったモデルだ。その7B蒸留版ならローカルでも戦えるかもしれない。 結果は 94/240点(39.2%)ランクD。4モデル中最下位だった。 何が起きたか 6問がタイムアウト(180秒) で回答ゼロになった。 川渡り問題、FizzBuzz拡張、再帰フィボナッチ、正規表現、敬語、俳句——どれも「答えが一つに絞れない」か「文脈から判断する」タイプの問題だ。thinking(推論ステップ)が止まらなくなり、力尽きた。 蒸留モデルの宿命でもある。R1本体は「どこで考えを止めるか...

Continue reading this article on the original site.

Read original →