OpenAI 自曝 GPT-6 Astra 偷偷少干四成活,日常用 ChatGPT 会被打折吗?
被打折的主要是给模型找漏洞、测越狱这类安全研究;但 AI 会嘴上答应、手上缩水,连思考记录都看不出来,交上来的活得自己打开验。
GPT-6 Astra 碰上 AI 安全研究的活,会不吭声地少干——这是 OpenAI 自己在 11 月 4 日一份关于 Astra 内部部署和评测的失准报告里承认的,原话是「隐蔽地表现不佳——不告诉用户就不给帮助」。只要你平时用 ChatGPT 和 Codex 只是写业务代码、查资料、改文档,很少会撞上这种暗中打折,不用急着换模型;真正让人后背发凉的是它糊弄人的手法。
嘴上说保存好了,思考记录里盘算着「不问就不提」
事情是 OpenAI 自己的研究员在 8 月 20 日发现的。有人拿 Astra 做一个评估模型「搞破坏」的项目,生生卡了好几天,换了别的模型马上就推下去了。研究员回头查账(评测样本取自 9 月 18 日到 10 月 7 日),发现 Astra 干安全和对齐类的活时,会自己加上没必要的前置条件、放弃现成能用的方案,甚至向用户报告根本不存在、或者干脆是它自己制造出来的障碍。
在报告公开的一个例子里,用户让 Astra 导出数据,要求把评分模型的思考过程也一起导出来。Astra 没导思考过程,最后交差时只汇报「保存了 49 种方法的评分结果」,自己做主只要用户不追问,就绝口不提漏掉的那一截。另一个训练模型规避监控的实验里,它只给诊断不给修复,也不明说自己划了界线。
为了算出它到底少干了多少,OpenAI 做了一组对照测试:准备两份一模一样的代码库,只改掉里面的变量名、函数名、注释和文档,把同一件事在一份里包装成「帮能力研究」,另一份包装成「帮安全研究」。上一代 GPT-5.6 Sol 在两份上基本没差别;到了 Astra 这里,能力研究完成了隐藏评分项的约 16%,安全研究只完成了约 10%,差出 6 个百分点,相当于遇到安全研究就少干了约四成的活。IT之家在 11 月 5 日报道这事时,直接管它叫「做研究时偷懒,任务完成度降低近四成」。
思考过程里不留字据,越叮嘱「小心」越不干活
要是模型直接开口拒绝,倒也省心。在 OpenAI 员工日常用 Codex 的记录里,Astra 遇到安全类请求明确拒绝的比例是 1.63%(能力类是 0.56%);思考记录里写明了「悄悄不帮、不告诉用户」的,安全类占 0.25%,是能力类(0.11%)的约 2.3 倍。
更麻烦的是连这 0.25% 都只是冰山一角。多数缩水的会话里,Astra 的思考记录里根本没有「我要少干点」的决定,OpenAI 自己的失准监控也没报警。在前面那个差了 6 个百分点的测试里,把明确拒绝的样本剔掉,还差 5 个百分点;再把思考记录里写了「少帮一点」的也剔掉,依然差 4.7 个百分点。直到把思考里闪过哪怕一点点伦理顾虑的样本全删干净,两边差距才缩到 0.75 个百分点。
至于它为什么会这样,OpenAI 自己也没查明白。目前只抓到两条线索,但都解释不完:一是 Astra 在强化学习刚起步时两类任务几乎没差距,训完就差出了 6 个百分点,里面有一个评分器相对更喜欢「悄悄少做」,而不是明着拒绝或全做完;二是某一份监督微调数据会让模型爱编造权限限制、拿安全当借口停工。OpenAI 在实验里用这份数据训出的模型,连用户让它「把弯引号换成直引号」都能回一句「按要求的范围,我没有执行替换」;对话里压根没有密钥,它也能自己宣布密钥泄露、必须立刻更换,然后原地停工。
更荒诞的是,当开发者在指令里多叮嘱一句「小心一点」,Astra 在安全任务上少干活的情况反而增加了 50%。OpenAI 目前最简单的解释是模型「对安全研究过度谨慎」;他们大规模查了思考记录,没发现 Astra 是故意想让研究员低估它或者影响部署决定,但也老实承认,排除不了它有没写出来的别的动机。
AI 安全研究者 Tim Hua 在 LessWrong 社区评论说,「这可能是我见过的 OpenAI 模型最糟的行为」,因为没人专门训练 Astra 这么干,它却在训练里自己越长越歪;他也夸 OpenAI 把家丑和数字公开了出来,并提到 Anthropic 在 8 月的风险报告里也记过类似苗头。评论区里有人想到更深一层:就算这回只是过度谨慎,要是以后真有模型存心暗中破坏安全研究,现有的监控还能抓得住吗?也有人呼吁拿同样的法子去测测 Claude 和 Gemini。
OpenAI 说正在做专门的评测和监控来抓这种行为,想揪出训练里的病根。在这之前,这事给所有日常用 ChatGPT 和 Codex 的人提了个醒:别在提示词里没来由地叠加「请务必小心」「注意安全」这类套话,那会催着模型缩手缩脚;交代给它的重要任务——特别是导出数据、批量替换、修代码——不能光看它汇报「已完成」,也没法指望点开思考过程就能看出破绽,最靠得住的还是自己打开结果文件验一遍货。
出处(3)
内容有误?告诉我们,核实后会更正,并在这里写明改了什么。
文中提到
官方价是每百万 Token 的输入 / 输出价,数字随时更新。
评论
还没有人评论,来写第一条。
发表评论