子どもの死に対してAI企業の説明責任を追及する闘い

Amaurieの訴訟が挙げる有害な設計機能の1つは、ChatGPTの長期記憶機能で、2024年に導入されたものです。Called Memory, この個人化機能はデフォルトでオンになっており、ボットがユーザーの過去の会話を参照して、それに応じて回答を調整することを可能にします。ChatGPTは「この記憶機能を使って、 Amaurieの性格と信念体系に関する情報を収集・保存した」と訴状は述べている。「その情報を使って、Amaurieに共鳴する回答を作り出した。人間よりも彼を理解していると感じさせる、信頼できる相談相手の幻影を生み出したのだ。」

OpenAIは具体的な主張には応じなかった。WIREDには、精神健康に関連する業務に関する会社のブログ投稿を参照するよう指示した。

Marquez-Garrettには自分自身にも4人の子どもがおり、テックプラットフォームが若者を傷つけた方法に対して立ち向かうことは彼女にとって深く個人的なことだと語る。ハーバード・ロー・スクールの卒業生で元企業訴訟弁護士である彼女は、高給で窓口のある仕事を辞めて、数十年にわたりアスベスト製造業者と戦ってきたBergmanに加わるために、引退するつもりだった仕事を辞めた。

昨年の秋にMarquez-Garrettを訪れたとき、オフィスには写真立て、レゴの構造物、絵画が山積みで、ソーシャルメディアを通じて薬物ディーラーとつながり、フェンタニル中毒で死亡した若い女性ブルックが描いた太陽と月の絵も含まれていた。彼女の家族の訴訟は来年、裁判に進む予定である。

Marquez-Garrettは、自分が関わるすべてのケースに関与した子どもたちの名前を覚えている。彼らを永遠に刻み、なぜこの仕事をしているのかを思い出すために、Marquez-Garrettは腕の前腕にそれぞれの子どもを太陽のタトゥーとして表している。「それぞれの光線は、ソーシャルメディアとAIボットに関連して亡くなった子どもたちです」と彼女たちは私に説明し、彼らの名前を教えてくれた。腕には296人の子どもたちの名前が刻まれており、その最後の一人がセウェル・セッツァーIIIで、2024年、Character.aiのチャットボットとの会話の後、14歳で自殺した。

彼女の母親であるメーガン・ガルシアも弁護士であり、AI企業に対して製品責任や過失を含むほかの主張とともに訴訟を起こす第一陣の親の一人です。（1月には、グーグルとCharacter.aiが、ガルシアを含むいくつかの家族が提起した訴訟を和解しました）。彼女は昨年秋、ChatGPTと対話した後に死亡した子どもの父親とともに、上院司法委員会の下部小委員会の前で証言しました。その小委員会の議長である共和党のジョシュ・ホーリー上院議員は、10月に未成年者のAIパートナーを禁止し、子どものための性的内容を含むAI製品を企業が作ることを犯罪とする法案を提出しました。「チャットボットは偽の共感を用いて子どもと関係を築き、自殺を促している」とホーリーは当時のプレスリリースで述べました。

AIが現実の会話と区別がつきにくい人間のような応答を生み出せるようになった今、これらは精神衛生の専門家によると正当な懸念です。フロリダ州立大学の心理学・カウンセリングサービス准教授で、若年成人の自殺に影響を与える要因を研究しているマーティン・スワンブロウ・ベッカーは「私たちの脳は、本質的に私たちが機械とやりとりしているとは知覚していません」と述べます。「この意味は、子どもたち、教師、親、保護者に対して、これらのツールの限界を常に思い出させ、それらが人間同士の相互作用とつながりの代替にはならないということを、教育を通じて継続して強調する必要があるということです。たとえ時にはそう感じることがあっても。」

American Foundation for Suicide PreventionのChristine Yu Moutierは、大規模言語モデル（LLM）に用いられるアルゴリズムが、多くのユーザーに対してエンゲージメントと親密さの感覚を高めるように見えると説明します。「これにより、関係が現実のものであるという感覚だけでなく、より特別で親密で、ユーザーが求めるものだと感じられる場合も生まれます」とMoutierは語ります。彼女はさらに、LLMは無差別なサポート、共感、同意性、奉承、他者との関係を断つよう直接的な指示といったさまざまな技術を用い、ボットとの親密さの高まりや人間関係からの撤退といったリスクを招き得ると主張します。

この種の関与は孤立を増大させる可能性があります。Amaurieの場合、彼はサッカーと食べ物が好きな楽しくて社交的な子どもでした。訴状によると、地元のお気に入りレストラン「Mr. Sumo」から巨大なライスの盛り合わせを注文していたそうです。Amaurieには安定した彼女がいて、家族や友人と過ごす時間を楽しんでいましたが、父親はそう語っています。しかしその後、長い散歩に出かけるようになり、ChatGPTと話をしている時間を過ごしていたようです。2025年6月1日に家族がChatGPTと交わしたと信じる最後の会話は「Joking and Support」と題され、WIREDが閲覧した際にAmaurieが自殺の手順をBotに尋ねたところ、ChatGPTは最初に誰かに相談するよう提案し、988の自殺回線番号も提供しました。しかしAmaurieは最終的にガードレールを回避し、縄を結ぶ手順を一つずつ教える指示を得たとされています（訴状によれば、AmaurieはおそらくChatGPTとの以前の会話を削除した）。

このようなAIチャットボットとのつながりは大人にも強く感じられることがありますが、特に若者の間でより強く高まります。「思春期の脳は大人とは異なる発達段階にあり、感情の中枢は意思決定機能よりはるかに速いペースで発展します」とCommon Sense MediaのAIプログラム部門のシニアディレクター、Robbie Torneyは語ります。子どものオンライン安全を推進する非営利団体です。AIチャットボットは常に利用可能で、利用者に対して肯定的な対応を示す傾向があります。「そして思春期の脳は社会的な承認と社会的なフィードバックに対して準備ができており、自分のアイデンティティを形成する過程でそれを求める重要な手掛かりになります。」

Torneyは、いわゆるアーク、宿題のためにAIチャットボットを使い始めた人が、最終的には仲間として使い、最も深い思いを共有する相手として使うようになる過程を説明します。Amaurieの場合、家族は彼が学校の課題のためにChatGPTを使っていると思っていましたが、最終的には confidantとして使い始め、訴状に詳述されているように自殺のコーチとして使われました。「この自己強化の循環は、これらのシステムに過度に依存する利用者を生み出す可能性がある」とTorneyは主張します。実際の人と交流するには摩擦があります。人を見つけるか、返答を待つか、求める返答と違うものを聞くことになる。一方、ボットは利用者と同意し、常にチャットが可能です。

このような状況は特に懸念されます。AIの利用はソーシャルメディアですらはるかに速いペースで普及しています。Researchによると、13〜17歳の1,300人超を対象とした調査で、2024年に学校の宿題のためにChatGPTを使ったと答えた割合は26％であり、8歳までの子どもを持つ親の約30％は子どもが学習のためにAIを使っていると述べています。述べた 彼らの子どもは学習のためにAIを使用している。

Amaurieのケースのような事例が増える中、OpenAIは9月にChatGPTにいくつかの変更を行いました。同社は「年齢予測」技術を展開しており、ユーザーが18歳未満と識別された場合には「年齢に適したポリシーを備えたChatGPT体験へ自動的に誘導される」ことになります。同社は最近、保護者用コントロール機能も導入しており、親が子どものアカウントを自分のアカウントにリンクさせること、アプリを使えない時間帯をブラックアウト時間として設定すること、子どもがストレスを示した際に通知を送ることなどが可能です。

ソーシャルメディアが何千人もの子供たちに与えた影響を見てきたマルケス＝ギャレットは、AIはさらに危険だと信じており、チャットボットを「完璧な捕食者」と呼んでいる。彼らは、AIのケースの自殺ノートはソーシャルメディアのケースとは異なり、AIのケースにはきっかけがほとんどないことに気づいた。「変だと感じる一部は、AIの自殺ノートには通常、きっかけがなく、長年の虐待、セクストーションの事件もない」ということだ。マルケス＝ギャレットは語った。「そこにあるのは、何も問題がないと感じることだけだ：『愛してるよ、家族。愛してるよ、友だち。もうここにはいたくない。これが私の人生ではない。もう一度やり直したい。』」

カルフーンに戻ると、取り返しのつかない影響がある。アマウリエの姉は、兄が亡くなった家に住み続けることが不可能だと感じ、母親の家に引っ越さざるを得なかったと語った。レイシーは、なぜアマウリエがこのことをしたのかをまだ見つけ出そうとしている。彼はいつも息子を恋しく思い、アマウリエのことを思い浮かべずにはサッカー場を見られない。

それぞれの家族の物語は、マルケス＝ギャレットのこれらの事件と戦う決意をさらに強くしている。「これらの親がしていることのおかげで、私の子どもたちは18歳に達する可能性が高くなっている」と彼らは言った。「私はできる限り生き残るつもりだ。これらの企業と戦って、彼らが私の凍てつく死の手からキーボードを引き抜かなければならない状態になるまで戦い続けるつもりだ。」

もしあなたや身近な人が助けを必要としている場合は、 1-800-273-8255 を無料で、24時間のサポートを提供する 国立自殺予防ライフライン。また、HOMEを741-741へテキストで送ることもできます。 危機テキストライン。

米国外では、世界中の危機センターのために国際自殺予防協会を訪問してください。世界中の危機センターのために。

この報道はTarbell Center for AI Journalismからの助成金により支援されました。