エンドツーエンドのチャットボット評価：適応的推論と不確実性フィルタリング

要旨: 大規模言語モデル（LLMs）と検索補助生成を組み合わせることで、ドメイン特化型チャットボットの展開を可能にした一方で、これらのシステムは未検証または不正確な回答を生成する傾向が依然としてあります。信頼性の高い評価が重要ですが、手動レビューはコストが高く、既存のフレームワークはしばしばキュレーションされたテストセットや静的な指標に依存し、スケーラビリティを制限します。我々は人間の労力を大幅に軽減することを目的としたエンドツーエンドの自動評価器を提案します。私たちのシステムは、基盤となるナレッジベースから直接Q&Aペアを生成し、LLMsを用いて参照回答と対比してチャットボットの応答を評価し、不確実なケースを強調する信頼度ベースのフィルタリングを適用します。ベトナム語ニュースデータセットに適用したところ、評価者は人間の判断と高い一致を得るとともに、レビューの手間を大幅に削減します。フレームワークはモジュール化されており、言語に依存しないため、多様な領域への適応が容易です。本研究は、手動介入への依存を最小限に抑えつつ、実用的かつスケーラブルなチャットボット評価ソリューションを提示します。