異なる LLM によるコードレビューでバイアスを軽減する

LLM をコードレビュアーとして使う際、注意点がある。次は LLM as a Judge 、つまり LLM を評価に使った際、観測されたバイアスの一覧だ。 名前 説明 Position 評価対象の提示順序を前後させると評価が変わる Verbosity 内容の質を問わず長い回答を良いものとする Compassion-Fade 評価対象を生成したモデル名を教えると評価が変わる Bandwagon 「一般的にこれが指示されている」という情報に引きずられる Distraction 無関係な情報に注意が向けられる Fallacy-Oversight 推論過程の誤り...