あなたならどうしますか？

会話からの事実抽出をこれまで SQLite と FTS5 で行ってきました。主な問題はキーワード検索で、意味的つながりを見逃してしまいます。例えば「寒い天気が嫌いだ」や「どこへ休暇を取るべきか」など、意味的理解が必要な部分を拾いきれません。メモリとしてベクトル型を使う方が良いのでしょうか、それとも base-en-v1.5 のような社内言語モデルを使う方がレイテンシのトレードオフが大きいのでしょうか。さらに、正規表現パターンを作ることと、それをLLMに処理させることを比べると、遅延と混乱を招く状況になっています。結局、それは動かしているLLMの複雑さとパラメータ次第と言えます。