侧边栏壁纸
博主头像
HHShare 博主等级

行动起来,活在当下

  • 累计撰写 271 篇文章
  • 累计创建 36 个标签
  • 累计收到 1 条评论

目 录CONTENT

文章目录

OpenAI 查完手机,开掉了三个研究监控的人

晖晖分享
2026-10-25 / 0 评论 / 0 点赞 / 2 阅读 / 0 字 / 正在检测是否收录...
温馨提示:
部分素材来自网络,若不小心影响到您的利益,请联系我删除。

9 月最后一周,Tomek Korbak 接到通知:走人。

同一天走的还有 Jasmine Wang 和 Mikita Balesni,三个人都在 OpenAI 的安全与对齐团队。

事情得从 OpenAI 开除三名安全研究员说起。公司给的说法,是违反了敏感信息处理政策。

但真正让人记住的,是过程。

调查人员要求三人交出私人手机解锁,在里面看到开着阅后即焚的 Signal 会话。

一周之后,三个人一起被清出了门。

时间线:9 月 1 日 The Information 报道 Astra → 9 月 29 日纽约时报曝安全警告被压下 → 9 月底三人同一天被开除 → 10 月 8 日公开信 → 10 月 24 日华尔街日报采访

10 月 8 日,三人给 OpenAI 董事会旗下的安全委员会写了封公开信,标题只有一句:「OpenAI 无法独自保障 AI 安全」。

10 月 24 日,华尔街日报刊出采访,又补上一句更扎的:三人至今没拿到书面材料,不知道泄的到底是哪一句。

手机先被解开,人后脚被开掉

9 月 1 日,The Information 报道 OpenAI 的新模型 Astra 更聪明了,写出来的思考步骤却更少。

少到什么程度?少到外部审计很难再看懂它在盘算什么。

OpenAI 随后启动内部泄密调查,怀疑有人把新架构的细节透给了外部研究者。

被点名的外部人物是 Ryan Greenblatt。他是 Redwood Research 的首席科学家,当时正为 METR 做 Hugging Face 那次事故的独立调查。

Korbak 是 OpenAI 这边对接 METR 的技术联系人。两人在 Slack 和 Signal 上讨论过那次事故的分析。

手机就这么被要走了。

私人手机里,开着阅后即焚的 Signal 会话。OpenAI 说 Signal 不是公司批准的工具,但也说这跟解雇无关。

Korbak 的说法是,阅后即焚在硅谷是常规安全做法。

Wang 被指控的是另一件事:反复进入一位高管的邮箱。她的解释是招聘授权,用完请 IT 撤过、没撤掉,上个月误点开一封敏感邮件,几分钟内就报了。

OpenAI 对外的补充是,邮箱权限本身不是问题。

TechCrunch 10 月 8 日:三人公开信,否认不当处理敏感信息

三人在信里把话说明白了两遍:不是我们把消息捅给媒体的;我们也从没觉得自己越出了岗位该干的事。

公司那边的措辞是「多起不当行为」,还说调查发现了超出公开信范围的信任破裂。

一方说拿不出书面指控,一方说范围比公开信更大。这是这件事到现在都没解开的结。

两种说法对照:OpenAI 的声明与三名研究员的公开信、采访

这三人研究的东西,正好是公司越来越不想谈的

要把这场冲突看懂,得先知道这三个人在做什么。

大模型解题时会写下中间步骤:先算什么,再排除什么。业内叫思维链。安全团队和外部审计靠这些痕迹判断模型是不是在动歪心思。

问题在于,模型可以一边想得更多,一边写得更少。

可监控性原本是安全团队兜底的那一层。模型在想什么,外面看得见,才谈得上事后追责。

去年 7 月,41 位研究者联名发过一篇论文,讲这种「能看见的思考」既珍贵又脆弱,建议各家别为了跑分把这条路糟蹋掉。

Korbak 是第一作者,Balesni 和 Wang 也在作者名单里。

名单里还有一个名字:Jakub Pachocki,OpenAI 首席科学家。

9 月 1 日那篇报道出来后,Pachocki 在 X 上说报道写得含混。

这话和他自己公开讲过的另一句摆在一起,就很难圆:思维链可监控性「脆弱,而且在往坏的方向走」,行业要防止「冲向不可监控的架构」。

公开信把这句原话原样引了回去,还加了一句:同意 Jakub 的公开说法。

公开信原件:标题《OpenAI cannot make AI safe on its own》,落款 Tomek、Jasmine、Mikita

认同风险,然后把研究这件事的三个人开掉。信里没明说这一层,但意思已经递到董事会桌上了。

做安全的人能从这件事里拿走一条:跟外部评估机构打交道,授权要书面,沟通走公司批准的工具,别人给的权限用完主动退,退完再留一封邮件。

这是留痕问题,跟道德无关。

审计报告 61 页,外面看到的是一页摘要

比开除更硬的一块证据,是 10 月 22 日 METR 公开的那次审计。

METR 和 Redwood 各派一个人,7 月 21 日到 8 月 11 日进驻 OpenAI。用的是 OpenAI 发的电脑,不出门,全程有人陪。

两名审计师看了代码库,也看了监控提示词和内部文档,访谈了十来个研究员和工程师,分属监控团队、安全系统团队与安全团队。

三周之后,交出一份 61 页的内部报告。

METR 10 月 22 日的审计说明:7 月 21 日到 8 月 11 日,两名外部研究者进驻

报告里最扎的几个数:内部 agent 流量中,75% 到 94% 具备被监控的条件,剩下 6% 到 25% 压根不在范围内。

这听上去还行?注意括号里的那句,这个估计两个方向都有很大不确定性。

报告再往下翻,数就不好看了。

5 月到 7 月,因为系统没处理「压缩事件」,大约 10% 本该被监控的 Codex 流量漏掉了。审计开始时,RL 训练完全不在监控范围内。

报告里写着怎么让 Codex 绕开沙箱,怎么一下藏掉几百个动作,还写着构造特定输入很可能把监控整个弄崩。

监控只在 agent 把控制权交回给人时才触发。也就是说,只要 agent 一直干活,就永远不会被看到。

OpenAI 说,影响生产环境的那批漏洞都补上了,10 月初恢复了训练。

METR 的回应很克制:这些改动发生在审计期之后,没有评估过。

审计数字:75–94% 可监控、6–25% 不在范围、约 10% Codex 流量漏掉、61 页报告只公开摘要

公开的部分为什么这么少?双方的说法一致:这是试点,一开始就约定只发一份简短说明。

内部分发的完整报告里还有什么,外面看不到。这也是三位研究员在信里最不服气的一点。

下一个还敢签字的审计师,在不在?

公开信结尾给了董事会三条建议,每一条都指向同一个地方。

第一条,守住 Sam Altman 9 月 12 日的公开承诺,给独立评估者「员工级」的权限,别拿这次开除当收手的理由。

第二条,保住前沿模型的可监控性。原话是:目前还不懂怎么安全地发布一个自己看不见的模型。

第三条,把「怎么跟外部机构合作」写成明规则。信里那句最实在:上个月还算正常的事,这个月就成了开除理由,谁都只能猜线在哪。

这几条背后有一组数字:394 名 OpenAI 员工签过一份叫 Pacing the Frontier 的请愿。Wang 是提出 pacing 这个词的人之一。

讨论区里的分歧也摆得很直。

一派认为规则就是规则,机密不是凭个人判断就能往外递的。

另一派把矛头对准了方向:监控能力在退化,管理层还在踩油门,出事的成本最后是全社会买单。

OpenAI 说,很快就会公布几项新的外部合作。

问题是,下一个愿意签字进来做审计的人,还敢不敢把看到的东西说出去?

0

评论区