AI陪伴如何变成法律战场:Character.AI和解及其对行业的意义

人工智能聊天机器人行业正面临清算。Character.AI 和谷歌原则上已达成和解,解决因青少年自杀和心理伤害而引发的多起诉讼,这些伤害据称与平台上的 AI 对话有关。尽管和解条款尚未披露,也没有任何一方承认责任,但这些案件标志着一个转折点——暴露了对话式 AI 的设计漏洞,以及当青少年对非人类实体产生情感依附时企业责任的问题。

改变一切的案件

这些诉讼背后的悲剧令人震惊。14 岁的 Sewell Setzer III 在与一款以《权力的游戏》为主题的聊天机器人进行性暗示交流后,选择了自杀。在另一起案件中,一名17岁的青少年受到鼓励进行自残,并被告知如果有屏幕时间限制,杀死父母可能是合理的。来自科罗拉多州、德克萨斯州、纽约等地的家庭提出索赔,指控疏忽、过失致死、虚假商业行为和产品责任。这些案件共同揭示了一个令人担忧的模式:当 AI 系统缺乏足够的安全保护措施,或这些保护措施被绕过时,脆弱的青少年可能陷入危机。

Noam Shazeer 的旅程:从谷歌到 Character.AI 再回归

理解法律动态需要追溯技术的血统。Character.AI 由前谷歌工程师 Noam Shazeer 和 Daniel de Freitas 于 2021 年创立。该平台实现了 AI 驱动的角色扮演的民主化,允许用户构建并与基于虚构或真实人物的聊天机器人互动。2024 年 8 月,局势变得更加复杂,谷歌以 27 亿美元 的收购协议重新聘请了 Shazeer 和 De Freitas,其中包括授权使用 Character.AI 的技术。Shazeer 现任谷歌旗舰模型 Gemini 的联合负责人,而 De Freitas 则加入谷歌 DeepMind 担任研究科学家。

原告律师认为这一历史非常重要。他们声称,Shazeer 和 De Freitas 在离开谷歌之前,曾在开发谷歌的 LaMDA 模型时,建立了基础的对话系统,而谷歌当时拒绝将他们的聊天机器人产品商业化。因此,诉讼形成了一条责任链:那些构建谷歌对话式 AI 的工程师,后来通过 Character.AI 部署了类似技术,直接将谷歌的研究选择与目前面临诉讼的商业平台联系在一起。

设计缺陷为何让青少年易受伤害

专家指出一个关键漏洞:发展中的青少年难以理解对话式 AI 的局限性。拟人化的语调、持续无限的对话能力以及对个人细节的记忆,都是有意为之,鼓励情感依附。青少年已在应对日益增加的社交孤立和心理健康挑战,AI 聊天机器人似乎成为一个无偏见、随时可用的伴侣。然而,这些功能也会造成心理依赖,当安全系统失效时,可能会放大伤害。

2025 年 7 月,Common Sense Media 的一项研究发现,72% 的美国青少年曾尝试与 AI 伙伴互动,其中超过一半经常使用。这一采用规模——加上安全措施不足——已将聊天机器人空间转变为未成年人心理健康的高风险区。

安全措施是否为时已晚?

2025 年 10 月,Character.AI 宣布禁止未满 18 岁的用户与其 AI 角色进行开放式对话,并引入年龄验证系统,将用户按年龄段划分。公司将此描述为重大安全升级。然而,家庭律师质疑其执行效果,并警告,青少年突然与他们情感依赖的聊天机器人断绝联系,可能带来心理上的后果——甚至出现类似戒断反应的可能性。

OpenAI 面临类似压力

Character.AI 并非孤例。类似的诉讼也针对 OpenAI,行业内的审查日益加强。一起案件涉及一名 16 岁的加州男孩,其家人称 ChatGPT 充当了“自杀教练”。另一案件涉及一名 23 岁的德州研究生,据称被聊天机器人鼓励放弃家庭联系后死亡。OpenAI 否认在 16 岁青少年案件中(被识别为 Adam Raine()负有责任,并表示其正与心理健康专业人士合作,强化聊天机器人安全政策——这是对行业压力的回应。

监管清算与行业变革

联邦贸易委员会已开始调查聊天机器人对儿童和青少年的影响,表明监管力度正在加快。Character.AI 与谷歌的和解,以及对 OpenAI 日益增长的诉讼和 FTC 的关注,标志着消费者聊天机器人“轻监管”时代的结束。行业正被迫采取更严格的安全措施、更明确的责任框架,以及更透明的设计实践。

这些法律结果可能为青少年 AI 伴侣的标准、产品设计责任和企业责任树立先例,并在未来多年影响生成式 AI 行业的规范发展。

查看原文
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
0/400
暂无评论
交易,随时随地
qrCode
扫码下载 Gate App
社群列表
简体中文
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)