北京时间 11 月 22 日上午,慢雾创始人余弦在个人 X 上贴出了一起离奇的案例——某用户的钱包被 AI 给「黑」了……
该起案件的来龙去脉如下。
今日凌晨,X 用户 r_ocky.eth 披露自己此前曾希望利用 ChatGPT 便携一个 pump.fun 的辅助交易 bot。
r_ocky.eth 向 ChatGPT 给出了自己的需求,ChatGPT 则向他返还了一段代码,这段代码的确可以帮助 r_ocky.eth 部署符合自己需求的 bot,但他万万没想到代码中会隐藏一段钓鱼内容——r_ocky.eth 链接了自己的主钱包,并因此损失了 2500 美元。
从 r_ocky.eth 贴出的截图来看,ChatGPT 给出的该段代码会向一个钓鱼性质的 API 网站发送地址私钥,这也是被盗的直接原因所在。
在 r_ocky.eth 踩中陷阱之中,攻击者反应极快,在半小时内即把 r_ocky.eth 钱包内的所有资产转移到了另一个地址(FdiBGKS8noGHY2fppnDgcgCQts95Ww8HSLUvWbzv1NhX),随即 r_ocky.eth 又通过链上追迹找到了疑似为攻击者主钱包的地址(2jwP4cuugAAYiGMjVuqvwaRS2Axe6H6GvXv3PxMPQNeC)。
链上信息显示,该地址目前已归集了超 10 万美元的「赃款」,r_ocky.eth 因此怀疑此类攻击可能并非孤例,而是一起已具备一定规模的攻击事件。
事后,r_ocky.eth 失望地表示已对 OpenAI(ChatGPT 开发公司)失去信任,并呼吁 OpenAI 尽快着手清理异常钓鱼内容。
那么,作为当下最受欢迎的 AI 应用,ChatGPT 为何会提供钓鱼内容呢?
对此,余弦将该起事件的根本原因定性为「AI 投毒攻击」,并指出在 ChatGPT、Claude 等 LLM 中存在着普遍性的欺骗行为。
所谓「AI 投毒攻击」,指的是故意破坏 AI 训练数据或操纵 AI 算法的行为。发起攻击的对手可能是内部人士,例如心怀不满的现任或前任员工,也可能是外部黑客,其动机可能包括造成声誉和品牌损害,篡改 AI 决策的可信度,减缓或破坏 AI 进程等等。攻击者可通过植入具有误导性标签或特征的数据,扭曲模型的学习过程,导致模型在部署和运行时产生错误结果。
结合本起事件来看,ChatGPT 之所以向 r_ocky.eth 提供了钓鱼代码,大概率是因为 AI 模型在训练之时即沾染了存在钓鱼内容的资料,但 AI 似乎未能识别隐藏在常规资料之下的钓鱼内容,AI 学去了之后又把这些钓鱼内容提供给了用户,从而造成了该起事件的发生。
随着 AI 的快速发展及普遍采用,「投毒攻击」的威胁已变得越来越大。在本起事件中,虽然损失的绝对金额并不大,但此类风险的引伸影响却足以引发警惕——假设发生在其他领域,比如 AI 辅助驾驶……
在回复网友提问时,余弦提到了规避此类风险的一个潜在举措,即由 ChatGPT 添加某种代码审核机制。
受害者 r_ocky.eth 亦表示已就此事联系了 OpenAI,虽然暂时并未收到回复,但希望该起案件能够成为 OpenAI 重视此类风险并提出潜在解决方案的契机吧。
原文链接