文章详情

AI榜单一换题,开源模型就落后一截,这张榜还值得信吗?

一句话看懂

值得拿来挑候选,但别按总分替自己的任务换模型;两边吵来吵去,真正该追问的是题目怎么变、结果能不能复核。

这张榜值得拿来挑候选,但要是看着总分排名就把手里好端端的开源模型换掉,大概率会白折腾一场。

吵起来的原因是一道算术题。Artificial Analysis 在 2026 年 10 月 27 日发布了第五版智能指数(Intelligence Index v5),原本开源权重模型和头部闭源模型的总分差距只有 3 分,换完题之后,差距一下子拉大到了 12 分。消息一出,Reddit 的 LocalLLaMA 社区主讨论帖攒了 378 个赞、218 条回复,冲上了今日热门;另一条质疑“有吸引力区间里一个开源模型都没有”的帖子也有 111 个赞和 64 条回复,隔壁 singularity 板块同题帖同样聊了 97 条回复、252 个赞。

图片来源:截图自Reddit讨论正文,2026年10月29日;已避开用户名与头像

考卷锁进抽屉,防住了背题却难倒了验算

不服新榜单的那拨人,揪住的是“60%”这个数字。

这次新指数新增了两项评测、升级了三项,整个指数里有 60% 基于私有测试集或者隐藏了答案。官方给出的理由很实在:旧题库里有些公开题目已经被各家模型做熟甚至接近满分了,这次清理了饱和题与公开题,顺手修订了有歧义或错误的题目。

这就好比驾校考试,以前题库公开,大家拼命刷题都能考九十多分;现在考官把六成考题锁进抽屉,谁也别想提前背答案。支持换题的人觉得这很有必要,毕竟老题目快被刷满分了,不换更难的题,根本分不出谁真有本事、谁只是背功好。在 singularity 板块里,就有声音觉得拉开差距后的新排名更符合平时的使用体感。

但锁起考卷也有代价。在 LocalLLaMA 板块的采集回复里,质疑私有试题的声音比较集中。题目和答案不公开,确实能少受公开题训练的污染,可外界想自己跑一遍验证真假也变得极难,大家自然会要求更透明地解释换题过程。防作弊和可复核这两头,本来就是按下一头翘起另一头的事。

榜单缺席和考低分是两码事

除了考题不公开,看榜时还有一个容易踩的误区,就是把“图上没名字”当成“考砸了”。

图片来源:截图自Artificial Analysis官方v5说明,2026年10月29日

上面那位发帖抱怨“有吸引力区间没有开源模型”的作者,后来自己补充承认,截图的时候新分数还在陆续上传。主帖的讨论里也有人提醒,好些模型是因为还缺新项目的评测,暂时没算出总分,干脆就没出现在图上。

至于已经算出分数的模型,为什么分差会从 3 分跳到 12 分?这得看总分是怎么拼出来的。

新指数把知识工作、编程、科学、综合四块平分,各占 25%。其中科学部分塞进了让 AI 在电脑终端里执行研究任务的测试。这种高难度的科研操作题占了权重,一下子就会把总分扯开。以前写三年后端的时候我就明白一个道理,招个写业务接口的程序员,要是考卷里四分之一是手推高数公式,那培训班出身的熟手分数肯定塌方,但你让他干回日常的增删改查,他照样不耽误事。

别拿别人的综合考卷,否定自己手里的熟手

如果你平时只是拿 AI 改改文案、翻段外文,或者写点常规代码,总分里科学这一块的 25% 权重,跟你每天推开电脑要干的活其实没什么关系。

评论区里有一句原话很实在:“Open/Local is good enough for me!”(开源或本地模型对我来说已经够用了)。只要手头那个本地模型还能稳稳当当地把你交代的活干完,它就还是个好工具,完全没必要因为榜单总分掉了就觉得它突然变笨了。

换题带来的名次变化,离你该不该换模型还隔着十万八千里。普通人看这张榜,先看自己平时做的是改文案、翻译、写代码还是做研究,去翻对应的分项成绩,别盯着那个大杂烩似的总分。真想挑个新模型替班,最省事的办法是把手头现成的任务拿出来,让几个候选模型做同一份活,用同样的交付要求比一比;只有当手里的本地模型真有啃不动的硬骨头时,再去试那些高分的头部模型也不迟。

出处(4)
  1. Announcing Artificial Analysis Intelligence Index v5 · Artificial Analysis
  2. Artificial Analysis Intelligence Index v5 (major update) · Reddit
  3. AA is getting ridiculous now. Zero open weights in the Most Attractive Quadrant. · Reddit
  4. Artificial Analysis Intelligence Index v5 released · Reddit

内容有误?告诉我们,核实后会更正,并在这里写明改了什么。

评论

还没有人评论,来写第一条。

发表评论

编辑器加载中…