大規模言語モデルにおける持続的な創造性と多様性の促進

要旨: 私たちは、探索的検索の中であまり広く認識されていないサブセットに取り組みます。ここでは、ユーザーが通常長い「探索の旅」を開始し、完璧なウェディングドレス、見落とされた研究テーマ、秀逸な企業アイデアなどを探します。
現在の大規模言語モデル（LLMs）の最初のいくつかの出力は役に立つことがありますが、出発点にすぎません。というのも、この探求には探索空間を学習し、道中で多様で創造的な代替案を多く評価する必要があるからです。
LLMsは世界の知識のかなりの部分を符号化していますが、一般的なデコード手法は正解を含むプロンプトに狭く最適化されているため、ほとんど均質で従来型の結果を返します。
回答の少数セット間の多様性を高めることを目的としたものを含む他のアプローチは、ユーザーが最終的な判断を下せるだけの学習を始めるずっと前から自分自身を繰り返し始めたり、似た質問をするすべてのユーザーに均一なタイプの「創造性」を提供したりします。
私たちは、LLMsに持続的な創造性と多様性を誘発する、斬新で実装が容易なデコード方式を開発しました。これは、LLMのベクトル空間の内部機構へアクセスできなくても、望むだけの概念的に独自の結果を生み出します。
このアルゴリズムは、正統派と異端派の両方を含むLLMの広大な知識を解放し、モーダルなデコード経路をはるかに超えます。
このアプローチにより、探索の旅のユーザーは探索空間をより迅速に探索し、満足のいく答えを見つけることができます。