CLベンチ・ライフ：言語モデルは実生活の文脈から学べるのか？

Abstract

OpenClaw のような今日のAIアシスタントは、コンテキストを効果的に扱えるように設計されており、そのためコンテキスト学習は、モデルにとってますます重要な能力になりつつあります。これらのシステムが、プロフェッショナルな環境から日常生活へと広がっていくにつれて、扱わなければならないコンテキストの性質も変化します。現実のコンテキストは、多人数の会話、個人的なアーカイブ、行動の痕跡のように、個人的・社会的な経験と深く結びついており、しばしばごちゃごちゃしていて断片的で、扱いにくいものです。しかし、現在の最先端の言語モデルが、このようなコンテキストから確実に学習し、それに根ざしたタスクを解けるのかは、依然として不明です。そこで本研究では、ヒトによる完全なキュレーションに基づくベンチマークである CL-bench Life を提案します。これは、405 のコンテキスト—タスクペアと 5,348 の検証用ルーブリックからなるベンチマークで、よくある現実の生活シナリオをカバーしています。CL-bench Life でタスクを解くには、複雑でごちゃごちゃした現実のコンテキストに対して推論することが必要であり、既存のベンチマークで評価されている以上に踏み込んだ、強力な現実のコンテキスト学習能力が求められます。本研究では最先端の10個の LM を評価し、その結果、現実のコンテキスト学習は依然として非常に困難であることを見いだしました。最良の性能モデルでもタスク解決率は 19.3% にとどまり、一方でモデル間の平均性能はわずか 13.8% です。モデルは、雑然としたグループチャットの履歴や、日常生活における断片化された行動記録といったコンテキストに対して、いまだに十分に推論できていません。CL-bench Life は、現実のコンテキスト学習を進めるための重要な試験場を提供し、この分野での進展は、日常生活においてより知的で信頼できる AI アシスタントを実現することにつながります。