LLMにおけるより説明可能で、パーティション不要な合成的コンポジショナリティ推定の調査：ルール生成の観点から
arXiv cs.AI / 2026/5/1
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- 本論文は、LLMのコンポジショナリティを評価する既存の合成的汎化テストが主に出力結果を測るため、モデルがどのようにサンプルの合成性を理解しているかの説明可能性が不十分だと主張しています。
- また、テストセット作成がしばしばデータセット分割に依存し、「未見」の組み合わせでも間接的にリークしてしまうため、コンビネーション・リーケージの問題が起こり得ると指摘しています。
- 著者らは、LLMにデータセットのマッピングを行うプログラムのようなルール群を生成させ、複雑性理論に基づくコンポジショナリティ推定を可能にする「ルール生成の観点」を提案しています。
- この枠組みで文字列からグリッドへの課題に対して先進的LLMを実験した結果、各モデルが異なるコンポジショナリティ特性を示し、複数のコンポジショナリティ欠陥も観測されたと報告しています。
