AIの流暢さに関するパラドックス

Abstract

ユーザーがAIに関して持つスキルは、実際にそのユーザーに提供されるAIの成果をどれほど左右するのだろうか？ この問いはユーザー、AIプロダクトの開発者、そして社会全体にとって重要ですが、いまだ十分に検討されていません。WildChat-4.8Mから27K件の議事録の豊富な注釈付きサンプルを用いて、流暢なユーザーは初心者よりもより複雑なタスクを引き受け、根本的に異なる対話のモードを採用することを示します。すなわち、彼らはAIと協働的に反復し、目標を洗練し、出力を批判的に評価します。一方、初心者は受動的な姿勢を取ります。これらの違いは、AIにおける流暢さのパラドックスを生み出します。すなわち、流暢なユーザーは初心者よりも多くの失敗を経験するのですが、その失敗は（彼らが関与していることの直接の結果として）可視化されやすく、部分的な回復につながりやすく、さらに複雑なタスクでの成功がより大きい状況で起こります。対照的に初心者は、より見えにくい失敗を経験することが多いのです。つまり、うまく終わったように見える会話であるにもかかわらず、実際には期待に外れているというケースです。これらを総合すると、AIとの「成功」が何に依存するかを再定義することになります。個人は、受動的な受け入れではなく、能動的な関与の姿勢を取るべきです。AIプロダクトの開発者は、モデルの挙動だけでなくユーザーの挙動も設計しているのだと認識すべきです。摩擦のない体験を促すのではなく、深い関与を後押しすることが、全体としてより多くの成功につながるでしょう。私たちのコードとデータは https://github.com/bigspinai/bigspin-fluency-outcomes で利用可能です