LLM BiasScope: 比較用LLM評価のためのリアルタイムバイアス分析プラットフォーム

要旨: 大規模言語モデル（LLMs）が広く展開されるにつれて、その出力におけるバイアスを検出し理解することは極めて重要です。私たちは、リアルタイムのバイアス分析を伴うLLM出力の並べて比較するウェブアプリケーション「LLM BiasScope」を紹介します。このシステムは複数のプロバイダ（Google Gemini、DeepSeek、MiniMax、Mistral、Meituan、Meta Llama）をサポートし、研究者と実務者が同じプロンプトでモデルを比較しつつ、バイアスのパターンを分析できるようにします。LLM BiasScopeは、2段階のバイアス検出パイプラインを採用しています。文レベルのバイアス検出の後、偏りのある文のバイアスタイプ分類を行います。この分析は、ユーザープロンプトとモデルの応答の両方に対して自動的に実行され、統計、可視化、およびバイアスタイプの詳細な内訳を提供します。インターフェースは、二つのモデルを並べて表示し、同期したストリーミング応答、各モデルごとのバイアス要約、そしてバイアス分布の差異を強調する比較ビューを提供します。このシステムはNext.jsとReactで構築されており、バイアス検出のためのHugging Face推論エンドポイントを統合し、複数プロバイダのLLMアクセスにはVercel AI SDKを使用します。機能には、リアルタイムのストリーミング、JSON/PDFへのエクスポート、バイアス分析のためのインタラクティブな可視化（棒グラフ、レーダーチャート）を含みます。LLM BiasScopeはオープンソースのウェブアプリケーションとして利用可能であり、LLMの挙動のバイアス評価と比較分析のための実用的なツールを提供します。