モデルが語る以上のことを知っているとき:LLMにおける類推的推論の探り調査

arXiv cs.CL / 2026/4/7

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

要点

  • 本論文は、大規模言語モデルが類推的推論をどの程度支えられるかを調査する。特に、関連する類推が明らかな表層的手がかりではなく潜在情報に依存する場合に注目する。
  • 同一の能力を、物語的な類推を検出するためのプロンプトによって評価したときのモデル性能と比較しつつ、内部の「プローブ(probe)」表現を対比させる。
  • 結果として非対称性が示される。オープンソースのモデルでは、修辞的な類推に関してはプロービングの方がプロンプトより大幅にうまく機能する。一方で、物語的な類推では、両アプローチとも低い性能にとどまる。
  • これらの知見は、「モデルが内部で表現していること」と「プロンプトを通じて明らかにできること」との結びつきがタスク依存であることを示唆しており、プロンプトが利用可能な情報へアクセスできる能力には限界があることを示す。
  • 総じて、本研究は、ある種の状況における類推的推論での抽象化および一般化の不足を指摘し、表象能力(representational competence)と行動的に利用可能であること(behavioral accessibility)との違いを浮き彫りにする。

Abstract

類推推論は、物語理解に不可欠な中核的な認知機能である。LLMは、表層的および構造的な手がかりが一致する場合には良好に機能するが、類推が表面上には見て取れず、潜在的な情報を必要とする場合には苦戦する。これは、抽象化や一般化に関する限界を示唆している。本論文では、モデルの探索(プロービング)による表現と、物語の類推を検出する際のプロンプトによる性能を比較し、非対称性を明らかにする。すなわち、修辞的な類推では、オープンソースのモデルにおいて探索がプロンプトよりも有意に優れている一方、物語的な類推では、両者は同程度の(低い)性能を達成する。これは、内部表現とプロンプトに基づく振る舞いとの関係が課題依存であり、プロンプトが利用可能な情報へアクセスする仕方に関する限界を反映している可能性があることを示している。