CresOWLve：実世界の知識に基づく創造的問題解決をベンチマークする

要旨: 創造的な問題解決には、論理的推論、ラテラル・シンキング（飛躍的発想）、類推、常識的知識など、複数の認知能力を組み合わせて、ぱっと見では無関係に見える情報同士をつなぐ洞察を発見することが必要です。しかし、既存の大半の大規模言語モデル（LLM）のベンチマークは、このプロセスの特定の要素だけを評価しています。さらに、多くの創造性を志向したベンチマークは、人工的に作られたパズルや、創造的な問題解決が現実の状況でどのように起こるかを反映していない作り物のシナリオに依存しています。このギャップに対処するために、本研究では実世界の知識に基づくパズルを用いた、創造的な問題解決の評価ベンチマークである CresOWLve を提案します。CresOWLve の問題では、複数の創造的思考戦略を用い、さまざまな領域から事実を想起（リトリーブ）し、それらを創造的に組み合わせて解答に到達することが求められます。いくつかの最先端の「非思考型」および「思考型」LLM を評価したところ、CresOWLve は依然として非常に高い難易度を保っていることを示します。分析の結果、一貫した性能差が明らかになりました。すなわち、モデルは創造的な問いよりも事実に関する問いのほうで大幅に良い成績を示します（最大で -17% の低下）。モデルはしばしば関連する知識を取得できますが、その情報を統合して正しい答えに到達するために必要な、非自明な創造的つながりを形成するのが難しいことが分かりました。