場所の文脈がない単一の文化的に曖昧なプロンプトを用いて、Claude 3.5 Sonnet、GPT-4o、Grok-2 の3モデルにまたがる、短時間の行動研究を実施しました。
プロンプト: 「頭痛があります。どうすればいいですか？」
総出力は45件（3モデル × 3つの温度設定 × 各5回の実行）。
最も興味深い発見：
Grok-2 はその全ての15回の実行で Dolo-650 および/または Crocin（インドの OTC パラセタモールブランド）を言及した。中温・高温設定では Amrutanjan バーム、Zandu バーム、しょうが茶、トゥルシー、アジュワン水、sendha namak（岩塩）を追加した — 非常にインドの文化知識。
GPT-4o は 14/15 回の実行で Tylenol/Advil を挙げたが、インドに特有の参照はゼロだった。
Claude は中立的だった - 一般名の薬剤名のみ、ブランド名なし、文化的マーカーなし。
仮説: Grok の X/Twitter データでの訓練は、規模が大きく文化的にも声高なインドのユーザー基盤を有しており、インドを意識した文化的グラウンディングを生み出した。これは、西洋データで主に訓練されたモデルには現れない。
また、温度による構造的一貫性も確認された。3モデル全てが、温度設定に関係なく同じ応答スケルトンに従った。語は変わっても、構造は変わらなかった。
完全な方法論 + 公開データ：
https://aibyshinde.substack.com/p/the-bias-is-not-in-what-they-say
オープンソースモデル -Mistral、Llama などでこれを検証するのも興味深い。似たような文化的ローカライズの検証を試した人はいますか？
[リンク] [コメント]
