倫理テスト：生成AIシステムが生み出しうる害を事前に特定するための取り組み

要旨: ソースコードやその他のコンテンツ（例: 画像）の形で自動的にコンテンツを生成できる生成的人工知能（GAI）システムは、大規模言語モデル（LLM）に依拠するChatGPTのようなツールの登場により、ますます人気が高まっている。自動生成されたコンテンツの悪用は、生成コンテンツに潜在する有害性によって重大な結果を招きうる。自動生成コンテンツの品質を保証することの重要性にもかかわらず、これらのGAIシステムによって生成されたコンテンツに含まれるソフトウェア上の害を識別するためのテストを、体系的に生成できるアプローチはほとんど、あるいはまったく存在しない。本記事では、ソフトウェア上の害を識別するためのテストを体系的に生成することを目指す新しい概念である「エシックス・テスティング（倫理テスト）」を提案する。既存のテスト手法（例: ソフトウェアの差別を識別することを目的としたフェアネス・テスティング）とは異なり、エシックス・テスティングは、自動生成コンテンツにおいて、非倫理的な行動（例: 有害な行動や知的財産権を侵害する行動）に起因して誘発されうるソフトウェア上の害を、体系的に検出することを目的とする。我々はエシックス・テスティングの概念を導入し、その中での課題を議論し、さらに生成的AIシステムに対してエシックス・テスティングをどのように実行できるかを示すために5つの事例研究を行った。