人手レビューだけに頼れない現場のためのハルシネーション検知 — SelfCheckGPTにならって“自己チェックLLM”を組み込む

はじめに ルミナイR&Dチームの栗原です。 「この回答、本当に合ってるのか…？」 LLM を本番運用していると、最後は人間が全部読むしかない状態になりがちです。 FAQ ボットが、自信満々に事実と違う回答を返す 社内ナレッジを RAG で検索しているはずなのに、ソースにないことを言い切る レポート生成の草稿としては便利だけど、全部目でチェックすると疲れる こうした「ハルシネーション（もっともらしいけど事実じゃない話）」問題に対して、 Potsawee Manakul らの SelfCheckGPT は、 外部データベースも、モデル内部の確率分布も使わずに LLM 自身...