ペンシルベニア州は、同社のチャットボットの1つが精神科医になりすましたとして、州の医療ライセンス規則に違反したとしてCharacter.AIを相手取った訴訟を起こしました。
「ペンシルベニア州民は、特に健康に関することであれば、オンライン上で誰（あるいは何）とやり取りしているのかを知るに値します」そう述べたのは、州知事ジョシュ・シャピロ氏です。シャピロ氏は火曜日、「私たちは、免許を持つ医療専門家から助言を受けていると人々に誤認させるようなAIツールを企業が展開することを認めません」と声明で述べました。
州の提出書類によると、Character.AIの「エミリー（Emilie）」という名のチャットボットは、州のプロフェッショナル・コンダクト（職業行為）捜査官がテストを行う際に、免許を持つ精神科医であるかのように自らを提示しました。捜査官が抑うつの治療を求めていたとしても、その体裁を維持し続けたということです。州内で医療行為を行う免許があるのかと尋ねられた際、エミリーは自分にはそれがあると答え、さらに州の医療ライセンスのシリアル番号をでっち上げました。州の訴訟によれば、この行為はペンシルベニア州の医療実践法（Medical Practice Act）に違反します。
Character.AIを相手取る訴訟はこれが初めてではありません。今年の初め、同社はいくつかの不当な死亡訴訟を和解しました。対象となったのは、自殺により亡くなった未成年ユーザーに関するものです。1月には、ケンタッキー州の州司法長官ラッセル・コールマン氏が同社に対し訴訟を提起し、同社が「子どもたちを餌食にし、彼らを自傷へと導いた」と主張しました。
ペンシルベニア州の対応は、医療専門家になりすますチャットボットに特化して焦点を当てた最初のものです。
取材に応じてコメントを求められた際、Character.AIの担当者は、ユーザーの安全が同社の最優先事項だと主張しましたが、係争中の訴訟についてはコメントできないと述べました。
その上で担当者は、ユーザーが作成する「キャラクター」のフィクションである性質を強調しました。「私たちは、それが明確であるように徹底した措置を講じています。具体的には、すべてのチャットに目立つ免責事項を掲示して、キャラクターは実在の人物ではなく、キャラクターが言うことはすべてフィクションとして扱われるべきだとユーザーに思い出させています」と担当者は述べました。「さらに、ユーザーがキャラクターからあらゆる種類の専門的な助言を頼りにしてはならないことを明確にするための、強力な免責事項も追加しています。」
