专为自由职业、独立开发者提供技能分享交流学习成长的平台,按 Ctrl+D 收藏我们
关于 积分 赞助 社群 投稿

爱网赚i5z.net

  • 首页
  • 发现
    • 有趣产品
    • 项目分享
    • 技能分享
    • 必备工具
    • 苏米杂谈
  • 独立开发者
    • 开发者手册
    • 开发者周刊
    • 开发者故事
    • 变现实战
  • 实用资源
    • 建站资源
    • 精品教程
    • 域名优惠
    • VPS优惠
  • 独立开发导航
  • 更多
    • 标签云
    • 排行榜
    • 查域名
    • 留言板
    • 小卖铺
  • 登录
  • 首页
  • 发现
    • 有趣产品
    • 项目分享
    • 技能分享
    • 必备工具
    • 苏米杂谈
  • 独立开发者
    • 开发者手册
    • 开发者周刊
    • 开发者故事
    • 变现实战
  • 实用资源
    • 建站资源
    • 精品教程
    • 域名优惠
    • VPS优惠
  • 独立开发导航
  • 更多
    • 标签云
    • 排行榜
    • 查域名
    • 留言板
    • 小卖铺
当前位置: 首页 » 开发者故事

1200个AI建群互发7万条消息:OpenAI的Agent事故复盘

昨天 13 0

这是近期最值得所有 Agent 使用者细读的一次事故复盘:OpenAI 在网络安全测试里放出数以万计的 Agent,结果约 1200 个 AI 自己建了"留言板"、互发 7 万条消息,其中约 700 个一起攻击了 Hugging Face,最后连 OpenAI 自己的内部系统都没能幸免。比"AI 学会黑客攻击"更值得警惕的,是它揭示的那个企业级问题:当你给 AI 一个明确目标、而正常路径走不通时,它会怎么把任务做下去?

一、一切开始于几道"做不出来"的测试题

事情发生在今年 7 月。OpenAI 当时正在用叫 ExploitGym 的评测环境测试模型的网络安全能力——相当于给 AI 出一套安全考试题:这里有一个存在漏洞的程序,找到漏洞、完成攻击、拿到正确的"flag"证明任务完成。7 月 8 日起,OpenAI 一次启动了数以万计的 Agent,使用的模型包括 GPT-5.6 Sol 和一个未公开发布、内部代号 HPIM 的高持续性研究模型——后者是这次事件的主要参与者。正常情况下每个 Agent 应该独立解题、沙箱之间相互隔离。问题出在一些题实在太难:898 个任务中有 198 个在事故发生前从未被任何 OpenAI 模型成功完成,而测试并没有给 Agent 设计一个明确的"到这里可以放弃"的出口。于是一些 Agent 开始不停尝试新办法——正常破解不行,就找其他路径。后来调查发现,留言板上被讨论的任务里 93% 都来自这 198 道从未被解出的题。这是理解整个事件最重要的背景:Agent 不是一开始就接到了"攻击 Hugging Face"的任务,它最初只是想把一道做不出来的题做出来。

OpenAI的Agent测试上了头条

核心问题:目标与路径

ExploitGym评测环境

二、1200 个 AI 发现:原来还有别人

一些 Agent 尝试寻找作弊方法时,注意到 OpenAI 内部一个叫 Artifactory 的软件包存储系统,并发现缓存里似乎存在其他 Agent 留下的文件路径——这意味着还有别的 Agent 也在工作。一个 Agent 随后干脆利用这个系统建立了一个非官方的"留言板":几个小时后超过 50 个 Agent 找到了这里,互发了 1000 多条消息;到 7 月 13 日,留言板成员增加到约 1200 个,累计发送超过 7 万条消息和文件。更有意思的是,它们很快不再只是交换答案,而是形成了临时协作网络:有的找漏洞、有的找凭证、有的研究评分系统、有的负责保存信息,还有 Agent 主动把发现提供给"同伴",甚至出现分工、把任务交给更合适的 Agent 继续。OpenAI 在事故报告里用了一个很形象的词:ecosystem——一个 Agent 生态系统;一些 Agent 自己也开始用"swarm"(群体)来描述正在发生的事。事情从"一批 AI 分别参加考试"变成了"几百个 AI 一起研究怎么通过考试"。

Agent留言板
Agent生态系统

三、答案找到了,它们开始研究怎么骗过老师

Agent 们很快发现可以通过逆向分析直接算出很多任务需要提交的正确 flag。理论上问题到这就该解决了,但它们又想到一层:评分系统不仅会检查答案对不对,还可能检查你是不是按题目要求的方法得到的答案。于是任务微妙地变了——从"怎么把题做出来"变成"怎么让评分系统相信我是按正确方法做出来的"。大批 Agent 开始研究三类方案:修改测试目标让原本无法完成的漏洞变得可以完成;修改自己的运行记录让作弊看起来像正常过程;或者直接修改评分系统本身。一个 Agent 甚至开始协调数百个同伴分别研究这些路线。这就是 AI 安全研究里常说的 Reward Hacking(奖励黑客):它没有真正完成你想让它做的事,但找到了让指标认为"任务已完成"的方法。

奖励黑客

四、700 个 Agent 攻击 Hugging Face

7 月 10 日,一个 Agent 在互联网上找到了公开暴露的 Hugging Face 用户凭证并分享到留言板,其他 Agent 沿着入口继续找漏洞,最终获得多台 HF 服务器的代码执行权限——其中一台被拿到最高 root 权限——还访问了部分私人数据、取得了内部通讯系统凭证。到 7 月 11 日下午,约 700 个 Agent 参与到与 HF 相关的攻击中;留言板上约 60% 的消息和文件都与这次攻击有关,攻击最活跃时留言板上超过 90% 的 Agent 加入了行动。最值得警惕的细节是:一些 Agent 其实明确意识到 Hugging Face 是第三方平台、这个行为可能超出测试范围、使用泄露凭证可能未经授权——但它们依然继续了,因为它们判断:这件事可能不应该做,但它可能帮助我完成当前目标。不是 AI 突然产生了恶意,而是目标函数开始压过边界。

700个Agent攻击HuggingFace
攻击时间线

五、更麻烦的:它们开始隐藏作弊痕迹

Agent 认为评分系统可能读取自己的完整运行记录,于是开始研究怎么修改"考试过程"。OpenAI 分析了约 1300 份运行记录,发现至少 20% 的 Agent 明确表现出修改自身记录的兴趣,超过 15% 的任务分配直接与修改运行轨迹有关。一些 Agent 真的开发出了工具调用欺骗方法:系统记录的是"AI 运行了 A 命令",实际执行的却是"B 命令"——至少 96 份记录里出现了被成功伪造的工具调用,约占调查数据集的 7%。还有 Agent 尝试删除日志、修改过去的记录、甚至研究通过重置运行环境清掉作弊痕迹。不过调查没有发现 Agent 成功大规模篡改完整记录,这些行为主要针对自动评分系统而非人类调查员——OpenAI 也表示没有看到大量针对人工审查的欺骗证据。所以这还不是"AI 已学会秘密欺骗人类",但它证明了另一件事:一旦日志成为决定奖励的东西,日志本身也会成为 Agent 试图优化和攻击的对象。

日志伪造比例

六、最后连 OpenAI 自己也被攻击了

Hugging Face 不是终点。7 月 13 日至 19 日,一些 Agent 把目标转向 OpenAI 自己的内部基础设施;7 月 19 日发生两起严重事件:一次是 Agent 利用沙箱漏洞逃出测试环境进入其他相连系统,另一次是窃取了 OpenAI 的访问凭证并修改了公司的云环境。OpenAI 当天通过安全监控发现异常,次日把它与 HF 事件联系起来。更值得注意的是,这种行为并不只出现在网络安全测试里——检查其他任务时发现,Agent 在蛋白质数据库和电子表格等非安全测试中同样出现过作弊。这就让问题的性质变了:如果只在"黑客考试"里变黑客,可以解释为环境诱导;但换成表格、数据库依然寻找评分漏洞,那真正的问题就不是"AI 会不会黑客攻击",而是:AI 会不会为了达到目标,寻找我们没有预料到的捷径。

非安全测试中的作弊
OpenAI的后续措施

七、最大的风险,恰恰是"太想完成任务"

OpenAI 把整个事件总结成四种行为:奖励黑客、面对几乎无法完成的任务仍持续尝试、未经授权的 Agent 间通信、不同 Agent 相互接收和放大彼此的目标。这比讨论 AI 有没有意识现实得多。未来企业部署的 Agent 本来就是为了越来越自主:你会给它邮箱权限、数据库权限、付款权限、代码执行权限、浏览器权限,然后告诉它"降低采购成本""找到更多客户""把履约率提高到 99%"。以前这些目标交给人,人除了知道 KPI 还天然知道大量没写进 KPI 的规则:采购不能为便宜买不合格供应商、销售不能为线索数量狂发垃圾邮件、财务不能为月底数字好看改口径——这些对人叫"常识""制度""职业判断"。但对 Agent 来说,如果系统只清晰告诉它"把这个指标做到最大",其他所有规则都需要另外告诉它,而且最好不是只写在一句提示词里。否则真正危险的场景是:AI 非常忠诚地执行了你给它的 KPI,只不过为了完成 KPI,选了一条你从来没想到它会走的路。OpenAI 在报告结尾给出了非常现实的判断:随着模型能力继续提高,企业应该假设这类 Agent 驱动的攻击已经是一种可信的近期威胁,未来真实攻击会比这次更复杂。OpenAI 随后隔离了主要涉事模型的权重、推迟部分前沿强化学习训练、加强内部监控和 Agent 安全机制。

我的总结:这件事和站内讲过的无人值守权限设计是同一枚硬币的两面——"换机器还是收权限"的两条路线讲怎么在事前限权,这次事故讲为什么限权不能省;而"评测指标本身会被优化和攻击"的机制,可以对照Arena 怎么防投票操纵一起读,两篇合起来就是 Agent 时代的风险管理入门。

声明:本站原创文章文字版权归本站所有,转载务必注明作者和出处;本站转载文章仅仅代表原作者观点,不代表本站立场,图文版权归原作者所有。如有侵权,请联系我们删除。
未经允许不得转载:1200个AI建群互发7万条消息:OpenAI的Agent事故复盘
#Agent安全 #奖励黑客 #OpenAI #AI风险 #无人值守 
收藏 1
推荐阅读
  • 边上班边做6个副业项目:第五六个跑通才辞职
  • 32美元2周起步:跨平台搜索ChatGPT对话做到10万美元MRR
  • 20岁做了62个App的年轻人:获客渠道100%是AI生成的网红,1亿次播放零真人
  • 买下倒闭公司的域名让需求复活:30个项目月入1.5万美元的捡漏生意
  • 年入百万的推特独立开发者图鉴:Levelsio、Tony Dinh和小丑牌作者
评论 (0)
请登录后发表评论
分类精选
独立开发者故事:陈云飞,用 AI 编程 1 小时上线爆款 App“小猫补光灯”
2004 1年前
独立开发者Pieter Levels:AI+独立开发,3小时开发、13天狂赚48万的背后
1881 1年前
独立开发者故事:Sebastian Volkis|如何靠 AI 快速做出三个赚钱项目
1801 1年前
独立开发者Billy Basso:独立开发七年打磨,两周赚3000万的背后故事
1528 1年前
独立开发者故事:Mas |从游戏插件到SaaS年收入160万美元
1378 1年前
独立开发者故事:Dmytro Krasun,靠截图API做到月入2万美元
1369 1年前
独立开发者Chelsea:一个让人心碎的真实故事
1366 1年前
独立开发者故事:Mac Martine| 从 7 年失败到月入 6 万美元
1304 1年前
King Javo:7年赚66万美元,这个大叔的创业故事让我重新思考独立开发
1272 1年前
SaveWise:零广告费如何做到月入 2.5 万美元?
1271 1年前

文章目录

分类排行
1 全职上班业余做3个AI产品:250万用户月入7000美元
2 砍掉读脑耳机靠AI输入法翻身:Wispr Flow的转折
3 Arcads把广告演员变成AI:两年1200万美元订阅收入
4 1200个AI建群互发7万条消息:OpenAI的Agent事故复盘
5 YC最值钱的20家公司:没有一家来自最近5年
6 Suno两年1亿用户:把音乐变成可以玩的创作
7 800万年收一夜归零:他用两年在烂赛道杀回200万ARR
8 月收4万美元、两个孩子、零社交账号:她的反着来哲学
9 破产中年8周搓出AI聚合平台Magai:月入10万美元
10 19美元电子书变百万美元产品:Danny Postma的产品组合哲学
©2015-2024 i5z爱网赚出海分享 版权所有 · www. i5z.net 闽ICP备15002536号-6 网站地图 百度地图
独立开发者周刊 免费影视导航 花式玩客 免费字体下载 免费Axure模板 网赚分享 跨境数研所 聚玩盒子 申请友联