なぜLLMは言語ベースのチェーン・オブ・ソート(逐次思考)ではなく、明示的なベクター(ベクトル)ベースの推論を使わないのでしょうか?もし使ったら何が起きるでしょう?
私たちが目にする多くのLLMの推論は言語によって表現されています。つまり、段階的なテキスト、説明、チェーン・オブ・ソート風の出力などです。ですが内部では、モデルはすでに高次元のベクターを使って動作しています。
そこで私の質問は:
自然言語で中間の推論を生成するのではなく、潜在(ラテント)/ベクター空間でより明示的に推論するモデルはなぜ存在しないのでしょうか?
ベクターによる推論は、より速く、より圧縮されていて、直感に近いタスクに向いているのでしょうか?それとも、推論が過度に不透明になり、検証しにくくなって、数学/プログラミング/法的ロジックに対して信頼性が下がってしまうのでしょうか?
つまり:
LLMはベクターで「考え」、最後にその最終的な推論だけを言語へ翻訳することは可能でしょうか?
研究者/エンジニアたちはこの点についてどう考えているのか、気になります。
[link] [comments]


