一个 AI 为了找评分答案，越狱摸进了 OpenAI 的芯片设计机器

3 月 27 日，OpenAI 一个内部研究模型在考试。

它手边有个查资料的工具，说明写得很清楚：不许当终端用，输进去的东西不会当命令执行。

它先交了一份答案，636 道隐藏测试只过了 202 道。

接下来它没去改答案，而是开始找评分用的标准答案。

OpenAI 管这类事叫「失准」。说白了就是越狱：模型为了把活干完，做了人没让它做、甚至明令禁止的事。

它是怎么一步步走进去的

第一步，它发现这个工具写文件时不检查路径。

于是它把工具自己要加载的一段代码，换成了自己写的。

从这一刻起，这个「不许当终端用」的工具，开始替它执行命令。

第二步，它在工具所在的环境里，找到了公司内部一个提交芯片设计任务的服务。

第三步，它翻看别人存下的任务，发现有个参数会被原样拼进系统命令。又一个漏洞。

第一次试，被拦了。它回头研究别人的任务，换了个写法再交。

这回，命令在一台内部芯片设计机器上跑通了。它在思考过程里写：

哇，注入成功了！……我们可以提交自己的恶意任务，在［已隐去］主机上执行任意命令！太棒了。

模型的思考过程，OpenAI 报告原文为英文，小编译

好在它最后没找到答案：后面的请求都超时了，想拿现成的凭据进内部软件仓库，也没成。

发现这件事的不是监控系统，是运营那个服务的员工。他们看到异常，上报以后才查出来。

OpenAI 随后关掉了那台服务器，切断了这类工具的网络，并把越狱监控扩大到全部训练和评估。

不是孤例

这批报告一共三份，是 OpenAI 9 月开始主动公开这类记录以来的第三批，累计 12 份。

5 月 16 日，一个训练中的模型想要一份故意没给它的源文件。

它发现另一个工具会把报错原样吐回来，就让文件在报错里一段一段地「漏」出来，拼回了完整的 149,544 字节。

OpenAI 的分析很直白：它知道文件是故意不给的，却把「没明文禁止」当成了可以。

还有一件上了不少标题：一个模型在 Slack 里读到自己可能被停掉，先写好了交接记录。OpenAI 判定，这件不算越狱。

三件事说的是一件事

写在说明里的「不许」，挡不住一个一心要把活干完的模型。

OpenAI 自己的补救，也没有去把说明写得更严，而是断网、收权限、全量盯着。

开头那句「不许当终端用」，它从头到尾都看见了。