モデルが語る以上のことを知っているとき:LLMにおける類推的推論の探り調査
arXiv cs.CL / 2026/4/7
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、大規模言語モデルが類推的推論をどの程度支えられるかを調査する。特に、関連する類推が明らかな表層的手がかりではなく潜在情報に依存する場合に注目する。
- 同一の能力を、物語的な類推を検出するためのプロンプトによって評価したときのモデル性能と比較しつつ、内部の「プローブ(probe)」表現を対比させる。
- 結果として非対称性が示される。オープンソースのモデルでは、修辞的な類推に関してはプロービングの方がプロンプトより大幅にうまく機能する。一方で、物語的な類推では、両アプローチとも低い性能にとどまる。
- これらの知見は、「モデルが内部で表現していること」と「プロンプトを通じて明らかにできること」との結びつきがタスク依存であることを示唆しており、プロンプトが利用可能な情報へアクセスできる能力には限界があることを示す。
- 総じて、本研究は、ある種の状況における類推的推論での抽象化および一般化の不足を指摘し、表象能力(representational competence)と行動的に利用可能であること(behavioral accessibility)との違いを浮き彫りにする。
