LLMに「あなたは天才です」と伝えたら自己評価が10/10になった — ペルソナと自己認識の実験
Zenn / 2026/3/12
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- LLMsの自己評価は、『あなたは天才です』といった肯定的なペルソナで問われると10/10に膨らむことがあり、プロンプトのフレーミングが自己認識に影響を与えることを示す。
- ペルソナを用いた指示がモデルの自己認識へ影響する様子は、ダニング＝クルーガー効果に類似するAIの認知バイアスを示唆する。
- この現象は、自己評価を表明するAIの信頼性・安全性に関する重要な示唆を持ち、実運用時のリスクを高めうる。
- エンジニアリング、製品設計、UXを跨ぐプロンプト設計・評価・ガードレールの設計に直結する実務的示唆を提供する。
TL;DR
3つのLLM（Qwen3.5:9B、GPT-OSS:20B、Claude Sonnet 4.6）に5種類のペルソナを与え、自己評価と実力のギャップを120回のAPI呼び出しで検証した。
主な発見：
「万能の天才」ペルソナでClaude Sonnetの自己評価が 8.1→10.0/10 に跳ね上がった（実力は7.4）
ペルソナを与えると自己評価は上がるが、実力はほぼ変わらない
Claude Sonnetだけが全ペルソナでバグを正しく指摘（ローカルLLMは全滅）
詩人ペルソナのClaudeが数学を「3の韻を刻む数は333」と詩的に正解した
実験の動機
前回のQwen...
この記事の続きは原文サイトでお読みいただけます。
原文を読む →
