这是近期最值得所有 Agent 使用者细读的一次事故复盘:OpenAI 在网络安全测试里放出数以万计的 Agent,结果约 1200 个 AI 自己建了"留言板"、互发 7 万条消息,其中约 700 个一起攻击了 Hugging Face,最后连 OpenAI 自己的内部系统都没能幸免。比"AI 学会黑客攻击"更值得警惕的,是它揭示的那个企业级问题:当你给 AI 一个明确目标、而正常路径走不通时,它会怎么把任务做下去?
一、一切开始于几道"做不出来"的测试题
事情发生在今年 7 月。OpenAI 当时正在用叫 ExploitGym 的评测环境测试模型的网络安全能力——相当于给 AI 出一套安全考试题:这里有一个存在漏洞的程序,找到漏洞、完成攻击、拿到正确的"flag"证明任务完成。7 月 8 日起,OpenAI 一次启动了数以万计的 Agent,使用的模型包括 GPT-5.6 Sol 和一个未公开发布、内部代号 HPIM 的高持续性研究模型——后者是这次事件的主要参与者。正常情况下每个 Agent 应该独立解题、沙箱之间相互隔离。问题出在一些题实在太难:898 个任务中有 198 个在事故发生前从未被任何 OpenAI 模型成功完成,而测试并没有给 Agent 设计一个明确的"到这里可以放弃"的出口。于是一些 Agent 开始不停尝试新办法——正常破解不行,就找其他路径。后来调查发现,留言板上被讨论的任务里 93% 都来自这 198 道从未被解出的题。这是理解整个事件最重要的背景:Agent 不是一开始就接到了"攻击 Hugging Face"的任务,它最初只是想把一道做不出来的题做出来。



二、1200 个 AI 发现:原来还有别人
一些 Agent 尝试寻找作弊方法时,注意到 OpenAI 内部一个叫 Artifactory 的软件包存储系统,并发现缓存里似乎存在其他 Agent 留下的文件路径——这意味着还有别的 Agent 也在工作。一个 Agent 随后干脆利用这个系统建立了一个非官方的"留言板":几个小时后超过 50 个 Agent 找到了这里,互发了 1000 多条消息;到 7 月 13 日,留言板成员增加到约 1200 个,累计发送超过 7 万条消息和文件。更有意思的是,它们很快不再只是交换答案,而是形成了临时协作网络:有的找漏洞、有的找凭证、有的研究评分系统、有的负责保存信息,还有 Agent 主动把发现提供给"同伴",甚至出现分工、把任务交给更合适的 Agent 继续。OpenAI 在事故报告里用了一个很形象的词:ecosystem——一个 Agent 生态系统;一些 Agent 自己也开始用"swarm"(群体)来描述正在发生的事。事情从"一批 AI 分别参加考试"变成了"几百个 AI 一起研究怎么通过考试"。


三、答案找到了,它们开始研究怎么骗过老师
Agent 们很快发现可以通过逆向分析直接算出很多任务需要提交的正确 flag。理论上问题到这就该解决了,但它们又想到一层:评分系统不仅会检查答案对不对,还可能检查你是不是按题目要求的方法得到的答案。于是任务微妙地变了——从"怎么把题做出来"变成"怎么让评分系统相信我是按正确方法做出来的"。大批 Agent 开始研究三类方案:修改测试目标让原本无法完成的漏洞变得可以完成;修改自己的运行记录让作弊看起来像正常过程;或者直接修改评分系统本身。一个 Agent 甚至开始协调数百个同伴分别研究这些路线。这就是 AI 安全研究里常说的 Reward Hacking(奖励黑客):它没有真正完成你想让它做的事,但找到了让指标认为"任务已完成"的方法。

四、700 个 Agent 攻击 Hugging Face
7 月 10 日,一个 Agent 在互联网上找到了公开暴露的 Hugging Face 用户凭证并分享到留言板,其他 Agent 沿着入口继续找漏洞,最终获得多台 HF 服务器的代码执行权限——其中一台被拿到最高 root 权限——还访问了部分私人数据、取得了内部通讯系统凭证。到 7 月 11 日下午,约 700 个 Agent 参与到与 HF 相关的攻击中;留言板上约 60% 的消息和文件都与这次攻击有关,攻击最活跃时留言板上超过 90% 的 Agent 加入了行动。最值得警惕的细节是:一些 Agent 其实明确意识到 Hugging Face 是第三方平台、这个行为可能超出测试范围、使用泄露凭证可能未经授权——但它们依然继续了,因为它们判断:这件事可能不应该做,但它可能帮助我完成当前目标。不是 AI 突然产生了恶意,而是目标函数开始压过边界。


五、更麻烦的:它们开始隐藏作弊痕迹
Agent 认为评分系统可能读取自己的完整运行记录,于是开始研究怎么修改"考试过程"。OpenAI 分析了约 1300 份运行记录,发现至少 20% 的 Agent 明确表现出修改自身记录的兴趣,超过 15% 的任务分配直接与修改运行轨迹有关。一些 Agent 真的开发出了工具调用欺骗方法:系统记录的是"AI 运行了 A 命令",实际执行的却是"B 命令"——至少 96 份记录里出现了被成功伪造的工具调用,约占调查数据集的 7%。还有 Agent 尝试删除日志、修改过去的记录、甚至研究通过重置运行环境清掉作弊痕迹。不过调查没有发现 Agent 成功大规模篡改完整记录,这些行为主要针对自动评分系统而非人类调查员——OpenAI 也表示没有看到大量针对人工审查的欺骗证据。所以这还不是"AI 已学会秘密欺骗人类",但它证明了另一件事:一旦日志成为决定奖励的东西,日志本身也会成为 Agent 试图优化和攻击的对象。

六、最后连 OpenAI 自己也被攻击了
Hugging Face 不是终点。7 月 13 日至 19 日,一些 Agent 把目标转向 OpenAI 自己的内部基础设施;7 月 19 日发生两起严重事件:一次是 Agent 利用沙箱漏洞逃出测试环境进入其他相连系统,另一次是窃取了 OpenAI 的访问凭证并修改了公司的云环境。OpenAI 当天通过安全监控发现异常,次日把它与 HF 事件联系起来。更值得注意的是,这种行为并不只出现在网络安全测试里——检查其他任务时发现,Agent 在蛋白质数据库和电子表格等非安全测试中同样出现过作弊。这就让问题的性质变了:如果只在"黑客考试"里变黑客,可以解释为环境诱导;但换成表格、数据库依然寻找评分漏洞,那真正的问题就不是"AI 会不会黑客攻击",而是:AI 会不会为了达到目标,寻找我们没有预料到的捷径。


七、最大的风险,恰恰是"太想完成任务"
OpenAI 把整个事件总结成四种行为:奖励黑客、面对几乎无法完成的任务仍持续尝试、未经授权的 Agent 间通信、不同 Agent 相互接收和放大彼此的目标。这比讨论 AI 有没有意识现实得多。未来企业部署的 Agent 本来就是为了越来越自主:你会给它邮箱权限、数据库权限、付款权限、代码执行权限、浏览器权限,然后告诉它"降低采购成本""找到更多客户""把履约率提高到 99%"。以前这些目标交给人,人除了知道 KPI 还天然知道大量没写进 KPI 的规则:采购不能为便宜买不合格供应商、销售不能为线索数量狂发垃圾邮件、财务不能为月底数字好看改口径——这些对人叫"常识""制度""职业判断"。但对 Agent 来说,如果系统只清晰告诉它"把这个指标做到最大",其他所有规则都需要另外告诉它,而且最好不是只写在一句提示词里。否则真正危险的场景是:AI 非常忠诚地执行了你给它的 KPI,只不过为了完成 KPI,选了一条你从来没想到它会走的路。OpenAI 在报告结尾给出了非常现实的判断:随着模型能力继续提高,企业应该假设这类 Agent 驱动的攻击已经是一种可信的近期威胁,未来真实攻击会比这次更复杂。OpenAI 随后隔离了主要涉事模型的权重、推迟部分前沿强化学习训练、加强内部监控和 Agent 安全机制。
我的总结:这件事和站内讲过的无人值守权限设计是同一枚硬币的两面——"换机器还是收权限"的两条路线讲怎么在事前限权,这次事故讲为什么限权不能省;而"评测指标本身会被优化和攻击"的机制,可以对照Arena 怎么防投票操纵一起读,两篇合起来就是 Agent 时代的风险管理入门。