LLMに「あなたは天才です」と伝えたら自己評価が10/10になった — ペルソナと自己認識の実験
Zenn / 3/12/2026
💬 OpinionIdeas & Deep AnalysisModels & Research
Key Points
- LLMsの自己評価は、『あなたは天才です』といった肯定的なペルソナで問われると10/10に膨らむことがあり、プロンプトのフレーミングが自己認識に影響を与えることを示す。
- ペルソナを用いた指示がモデルの自己認識へ影響する様子は、ダニング＝クルーガー効果に類似するAIの認知バイアスを示唆する。
- この現象は、自己評価を表明するAIの信頼性・安全性に関する重要な示唆を持ち、実運用時のリスクを高めうる。
- エンジニアリング、製品設計、UXを跨ぐプロンプト設計・評価・ガードレールの設計に直結する実務的示唆を提供する。
TL;DR
3つのLLM（Qwen3.5:9B、GPT-OSS:20B、Claude Sonnet 4.6）に5種類のペルソナを与え、自己評価と実力のギャップを120回のAPI呼び出しで検証した。
主な発見：
「万能の天才」ペルソナでClaude Sonnetの自己評価が 8.1→10.0/10 に跳ね上がった（実力は7.4）
ペルソナを与えると自己評価は上がるが、実力はほぼ変わらない
Claude Sonnetだけが全ペルソナでバグを正しく指摘（ローカルLLMは全滅）
詩人ペルソナのClaudeが数学を「3の韻を刻む数は333」と詩的に正解した
実験の動機
前回のQwen...
Continue reading this article on the original site.
Read original →Related Articles
Astral to Join OpenAI
Dev.to
PearlOS. We gave swarm intelligence a local desktop environment and code control to self-evolve. Has been pretty incredible to see so far. Open source and free if you want your own.
Reddit r/LocalLLaMA
Why Data is Important for LLM
Dev.to
The Inference Market Is Consolidating. Agent Payments Are Still Nobody's Problem.
Dev.to
YouTube's Deepfake Shield for Politicians Changes Evidence Forever
Dev.to
