文章详情

GPT-6 Astra 能直接读改别的 AI 的参数,AI 学会自己改 AI 了吗?

一句话看懂

过去改一个 AI 的参数,要么重新训练,要么靠人拿工具一点点查;现在 GPT-6 Astra 能自己看数字、写代码去改小模型,但只够修掉模型身上的老毛病,还塞不进真本事。

MIT CSAIL 的四位研究者把一个只有 1.7 万多个参数的小游戏模型拆成纯数字,直接塞进聊天框发给 GPT-6 Astra,不告诉它有哪些游戏,它愣是看数字猜出了 4 个网络各自在玩什么;反过来只给游戏规则,不给数据也不训练,它一次写出了三个小游戏网络的全部参数,玩得比强化学习练了 1 亿步的还要好。这件事在 Reddit 的 r/singularity 上拿到了 2046 个赞、194 条回复。

r/singularity 上的转帖,发帖人信息已遮掉 · 图片来源:截图自 Reddit r/singularity 原帖,11 月 5 日

模型参数就是 AI 脑子里那一大串决定它怎么说话的数字,研究者把这种不靠训练、直接靠推理去读写数字的做法叫「权重空间编程」。以前想知道一个模型学会了什么、想修它的毛病,要么花大钱重新训练,要么靠研究员拿专门工具一点点查。现在一个通用大模型光看数字就能认出小网络在画圆还是画方块,真要把这条路走通了,以后查模型有没有被藏后门、修一个特定毛病,可能都不用再重新训练。

这帖子底下吵成了两派。兴奋的人已经在追问「如果让它改自己的参数呢?」,甚至觉得「到 2030 年世界会完全不一样」;泼冷水的人则在算细账,spaCy 作者 Matthew Honnibal 专门写文章指出:光看纯数字,只对 1.7 万到 17 万参数的微型网络管用。真到了改阿里 8 亿参数的 Qwen3.5-0.8B 时,Astra 用的是 Python 环境,拿练习题让小模型跑了 50 批,发现它爱陷入思考死循环,才动手改了 0.016% 的参数把死循环切掉,让 MATH-500 数学测试从 7.9% 升到 48.1%。Honnibal 说这证明的是 Astra 能干人类机器学习工程师会干的活。

两边其实各说对了一半。兴奋派看准了方向:AI 确实开始能检查和调试另一个 AI 了,连开发者 Simon Willison 用自己笔记本上的 Qwen 3.8 27B 跑了 46 分钟,也从参数里猜出了那是个吃豆人类的游戏。但泼冷水那派看清了现在的边界:作者拿本来就不绕圈子的 Gemma 3 270M 做过对照,Astra 怎么改,数学分都在 6.8% 到 7.7% 之间晃;让它光看参数找哪个模型被训成了「爱附和用户」,四次都没认出来。改参数只能搬走挡住原有能力的石头,加不进模型本来没有的本事。你手里的聊天 AI 不会因此自己半夜升级,离「AI 自己把自己改聪明」还差着十万八千里;但这套办法真成熟起来,以后给模型做体检和修小毛病,账单会便宜不少。

出处(6)
  1. Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights · MIT CSAIL(Rikiya Takehi 等)
  2. The 'Astra can read and write weights to improve Qwen' post is misleading · Matthew Honnibal
  3. Qwen 3.8 27B on my laptop can interpret model weights, too · Simon Willison
  4. MIT researchers say GPT-6 Astra improved a small Qwen model’s math score from 7.9% to 48.1%… · Reddit r/singularity
  5. GPT-6 Astra Edits Qwen Weights: MATH-500 7.9% to 48.1% · Reddit r/LocalLLaMA
  6. GPT-6 successfully performed "brain surgery" on another AI to make it smarter · Reddit r/OpenAI

内容有误?告诉我们,核实后会更正,并在这里写明改了什么。

评论

还没有人评论,来写第一条。

发表评论

编辑器加载中…