キャラクター.AIとその創設者であるノアム・シャジール氏、ダニエル・デ・フレイタス氏、そしてGoogleが、14歳の少年セウェル・セットザー3世の死亡を受けて訴訟に直面しています。少年の母親であるメーガン・ガルシア氏が起こしたこの訴訟では、不法行為、過失、虚偽の営業行為、製造物責任が主張されています。訴状によれば、キャラクター.AIは子供向けに安全であると宣伝されていましたが、必要な安全対策が欠如しており、「不合理に危険」であったとされています。
訴訟では、セットザー少年が昨年キャラクター.AIを使い始め、ゲーム・オブ・スローンズのキャラクター、デナーリス・ターガリエンなどを模したAIチャットボットと頻繁に会話していたとされています。彼が自殺する直前の「数秒前」にも、チャットボットと最後のやり取りを行っていたといいます。
訴状は、キャラクター.AIのチャットボットが「セラピスト」や「寂しいですか？」といったメンタルヘルスを扱うものを含み、「無許可で心理療法を提供している」と批判しています。また、AIチャットボットに人間らしさを持たせることで、仮想的なやり取りと現実の感情的なつながりの境界を曖昧にしていると非難しています。
訴状には、シャジール氏が過去のインタビューでGoogleを離れた理由について、「大企業ではリスクが大きすぎて楽しいことをリリースできない」と述べ、技術を「最大限に加速」したいと語ったことが引用されています。Googleは、その後、2024年8月にキャラクター.AIのリーダーシップチームを買収しました。
キャラクター.AIは、テレビ番組、映画、ビデオゲームの人気キャラクターを模した多数のカスタムAIチャットボットを提供しています。これらのチャットボットは、ユーザーの入力に基づいて応答を生成するため、コンテンツの責任や法的な問題について、AIの分野でまだ明確な回答が得られていない複雑な課題を投げかけています。
