LLMに「あなたは天才です」と伝えたら自己評価が10/10になった — ペルソナと自己認識の実験
Zenn / 3/12/2026
💬 OpinionIdeas & Deep AnalysisModels & Research
Key Points
- LLMsの自己評価は、『あなたは天才です』といった肯定的なペルソナで問われると10/10に膨らむことがあり、プロンプトのフレーミングが自己認識に影響を与えることを示す。
- ペルソナを用いた指示がモデルの自己認識へ影響する様子は、ダニング＝クルーガー効果に類似するAIの認知バイアスを示唆する。
- この現象は、自己評価を表明するAIの信頼性・安全性に関する重要な示唆を持ち、実運用時のリスクを高めうる。
- エンジニアリング、製品設計、UXを跨ぐプロンプト設計・評価・ガードレールの設計に直結する実務的示唆を提供する。
TL;DR
3つのLLM（Qwen3.5:9B、GPT-OSS:20B、Claude Sonnet 4.6）に5種類のペルソナを与え、自己評価と実力のギャップを120回のAPI呼び出しで検証した。
主な発見：
「万能の天才」ペルソナでClaude Sonnetの自己評価が 8.1→10.0/10 に跳ね上がった（実力は7.4）
ペルソナを与えると自己評価は上がるが、実力はほぼ変わらない
Claude Sonnetだけが全ペルソナでバグを正しく指摘（ローカルLLMは全滅）
詩人ペルソナのClaudeが数学を「3の韻を刻む数は333」と詩的に正解した
実験の動機
前回のQwen...
Continue reading this article on the original site.
Read original →Related Articles
How AI is Transforming Dynamics 365 Business Central
Dev.to
Algorithmic Gaslighting: A Formal Legal Template to Fight AI Safety Pivots That Cause Psychological Harm
Reddit r/artificial
Do I need different approaches for different types of business information errors?
Dev.to
ShieldCortex: What We Learned Protecting AI Agent Memory
Dev.to
How AI-Powered Revenue Intelligence Transforms B2B Sales Teams
Dev.to
