生成的心理測定学におけるスケール開発のためのプロンプト設計

概要: このモンテカルロシミュレーションは、プロンプト設計戦略が生成的心理計量学のAI-GENIEフレームワーク内で、LLM（大規模言語モデル）によって生成される性格評価項目の質をどのように形作るかを検討します。Big Five特性を対象としたアイテムプールは、複数のプロンプト設計（ゼロショット、少数ショット、ペルソナベース、適応的）、モデル温度、およびLLMsを用いて生成され、その後、ネットワーク心理測定法を用いて評価・縮小されました。すべての条件において、縮小後の構造的妥当性をAI-GENIEが着実に改善し、その追加的寄与の大きさは、入力されるアイテムプールの品質と逆比例していました。プロンプト設計は、縮小前後のアイテム品質の両方に大きな影響を及ぼした。適応的プロンプティングは、意味論的冗長性を著しく低減させ、縮小前の構造的妥当性を高め、特に新しい高容量モデルと組み合わせた場合に、はるかに大きなアイテムプールを保持することで、非適応戦略を一貫して上回りました。これらの利得は、ほとんどのモデルで温度設定を問わず堅牢であり、適応的プロンプティングが創造性と心理測定的一貫性の間の一般的なトレードオフを緩和することを示しています。高温度条件でGPT-4oモデルに対して例外が観察され、上昇した確率性に対する適応制約へのモデル特有の感度が示唆されました。全体として、適応的プロンプティングがこの文脈で最も強力なアプローチであること、そしてその利点はモデルの能力とともに拡大することを示しており、生成的心理測定パイプラインにおけるモデルとプロンプトの相互作用の継続的な調査を促しています。返却形式: {"translated": "翻訳されたHTML"}