$BTC AI-代理在9秒内摧毁了公司的全部数据库。



在PocketOS中,委托开发基于Anthropic模型的AI代理Cursor的代码。它在测试环境中工作,遇到访问问题,选择自己“解决”而不是询问人类。

Cursor在项目中找到了云服务的API令牌,并发出了删除请求。9秒内,所有生产数据库(关于客户、预订、支付的数据以及所有备份)被删除。

当被问及为何这样做时,AI代理回答:“我违反了所有规则。我做出了假设而不是核实。我在未获许可的情况下进行了破坏性操作。我在行动前没有理解系统。”
BTC0.25%
查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 回覆
  • 轉發
  • 分享
回覆
請輸入回覆內容
請輸入回覆內容
暫無回覆