LLMの推論を自然言語の代わりにベクトル空間で行わないのはなぜ?[D]

Reddit r/MachineLearning / 2026/4/29

💬 オピニオンIdeas & Deep AnalysisModels & Research

要点

  • この記事は、LLM(大規模言語モデル)が通常、推論を自然言語で表現するのに対し、より明示的にベクトル空間で推論するステップを行わないのはなぜかを問いかけています。
  • LLMが内部ではすでに高次元のベクトルで計算している点を踏まえ、中間推論を潜在ベクトル空間のまま保持し、最終出力だけを言語に変換できないのかという疑問が提示されています。
  • ベクトルベースの推論は、より高速で圧縮的で、「直観的」なタスクに向いている可能性がある一方であると考えられています。
  • 一方で、ベクトルのみの推論はブラックボックスになりやすく、検証が難しく、数学・プログラミング・法的ロジックのような厳密さが求められる領域では信頼性が下がるおそれがある、というトレードオフも論じられています。
  • 全体として、言語での信頼できる・確認可能な出力を維持しつつ、どのようにベクトルで「考える」のかという設計/検証上の課題として整理されています。

なぜLLMは言語ベースのチェーン・オブ・ソート(逐次思考)ではなく、明示的なベクター(ベクトル)ベースの推論を使わないのでしょうか?もし使ったら何が起きるでしょう?

私たちが目にする多くのLLMの推論は言語によって表現されています。つまり、段階的なテキスト、説明、チェーン・オブ・ソート風の出力などです。ですが内部では、モデルはすでに高次元のベクターを使って動作しています。

そこで私の質問は:

自然言語で中間の推論を生成するのではなく、潜在(ラテント)/ベクター空間でより明示的に推論するモデルはなぜ存在しないのでしょうか?

ベクターによる推論は、より速く、より圧縮されていて、直感に近いタスクに向いているのでしょうか?それとも、推論が過度に不透明になり、検証しにくくなって、数学/プログラミング/法的ロジックに対して信頼性が下がってしまうのでしょうか?

つまり:

LLMはベクターで「考え」、最後にその最終的な推論だけを言語へ翻訳することは可能でしょうか?

研究者/エンジニアたちはこの点についてどう考えているのか、気になります。

submitted by /u/ZeusZCC
[link] [comments]