AIが「ある患者は妊娠148回」と言ってしまった話

私は医療データセット（糖尿病UCIデータ）を扱っていて、AIデータアナリストを使っていました。AIにハードディスクからデータを読み込むよう依頼しました。データを読み込み、表示するためのPythonコードを生成しました。最初の数行を見たとき、私は驚きました――最初の患者に対して148回の妊娠が表示されていたのです！ なので、明らかに何かがおかしい。AI自身もそれを見ていました！ AIデータアナリストは追加プロンプトを送り、それを見つけました。AIはデータフレーム内の「Pregnancies（妊娠回数）」の平均を計算し、それが121で高すぎることが分かりました……他の列も値が間違っていました。たとえばAgeが0か1になっているなど。

結果を検証し分析するよう求める自動の追加プロンプトのおかげで、また分析したデータを表示できたおかげで、すぐにハルシネーション（でたらめ）を見つけて修正できました。

問題の核心は何だったのでしょう？ データのある行の中に、追加のカンマ記号がありました。単純なミスですが、それがとんでもない結果を生み出していました。