文章详情

Mistral Large 4能免费下载了,普通人值得搬到自己电脑上用吗?

一句话看懂

答案是不值得为了它去升级电脑:虽然官方开放了免费下载,接口常规价也降了大约一半,但它依然是个万亿参数模型,Hugging Face 列出的苹果电脑运行示例用了 512GB 统一内存。

看到一个万亿参数的大模型宣布「开放权重」(open-weight),很多人的第一反应是去看看自己电脑的硬盘还剩多少空间。

10 月 29 日,法国 AI 公司 Mistral 终于把自家旗舰模型 Mistral Large 4 的模型文件放了出来,外号还是叫「Le Chonk」(大胖猫)。距离它在 10 月 6 日发布预览版过去了二十多天,官方说这期间又接着做了强化学习训练,现在放出来的是改进版。

能免费下载是真消息,但从「能下载到硬盘里」到「能在自己电脑上跑起来」,中间隔着一道结实的硬件墙。对于绝大多数没有顶级工作站的普通用户来说,这次更新真正能直接省钱的地方,反而是它顺手把官方接口的常规价格砍了大约一半。

Hugging Face的苹果电脑示例用了512GB内存,大胖猫缩了水还是大胖猫

先算算把它搬回家要花多少硬件成本。

Mistral Large 4 是一个接收文字和图片、输出文字的模型,总参数量大约一万亿。你可能在不少地方听过一种说法:现在的模型很聪明,每次说话只动用身体里的一小部分参数,所以跑起来很轻快。

这道理好比请了一百个专家组成顾问团,每次提问只叫其中五个人起床回答,算起账来确实省力气。问题在于,你不知道下一个问题会轮到哪五个人,所以得在屋里给这一百个人全都安排好床位。模型文件也是一样,每一步计算只用到部分参数,但你的内存必须大到能把全体参数一块儿装进去。

为了让大家能装进电脑,开源社区的常见做法是给模型做「压缩」,把原本精细的数字改用更粗糙的刻度来记,牺牲一点精度换取体积变小。Hugging Face 的官方博客里确实给出了好消息:主流的运行工具(包括常见的本地运行工具 llama.cpp)都已经支持这个模型,也有现成的压缩版文件可用。

那么压到很狠的 2 比特版本之后,它需要多大的地方呢?Hugging Face 列出的运行示例里,用的是一台配了 512GB 统一内存的苹果 M3 Ultra 电脑。在这个级别的配置上,它生成文字的速度大约是每秒 15 个 Token(AI 处理文字的计量单位,用来表示输入和生成文字的处理量)。

Hugging Face列出的2比特压缩版运行示例使用512GB统一内存。 · 图片来源:截图自 Hugging Face 官方博客,10月30日

每秒 15 个 Token 大概就是肉眼看着字一个个往外蹦的速度,能用,但谈不上飞快。为了这个速度去配一台 512GB 内存的苹果顶配工作站,这笔账怎么算都让人冷静。模型文件免费,运行所需的硬件仍有成本。

常规接口价砍到原先的限时折扣线,先用现成的更划算

既然搬回家的硬件门槛摆在那儿,普通人想试试这只「大胖猫」写代码和看图的本事,直接用现成的接口要便宜得多。

在 10 月 29 日开放模型下载的同时,Mistral 把官方接口的常规价格也改了。现在每百万 Token 的常规收费是:交给它处理的输入文字 0.70 美元(如果用上缓存输入是 0.07 美元),它生成的输出文字 2.10 美元。

对比一下二十多天前的账单就能看出降幅。10 月 6 日刚出预览版时,它的日常标价是每百万 Token 输入 1.36 美元、输出 4.18 美元,当时只给了两周的首发半价体验期(输入 0.68 美元、输出 2.09 美元)。现在等于是把原先的限时五折,直接加了两分钱和一分钱,变成了长期的常规价。

如果你只是想体验一下它的文字和看图能力,完全没必要先去打听 512GB 内存的电脑多少钱。Hugging Face 的模型档案页上已经接好了现成的在线试用入口(Inference Providers),Mistral 官方也提供了自家的 API、Studio 以及编程工具 Vibe Code。先用现成入口体验,比折腾本地环境省心得多。

至于有人冲着「开源模型没有限制、什么都敢答」去下载,可能也会扑个空。Mistral 这次重点宣传的是写代码和防御性网络安全用途,并且在官方说明里把话讲得很明白:模型依然会拒绝恶意请求,而且后续还会继续更新安全防护。

自己改着玩免费,但拿去开店卖接口得另获许可

那这次开放权重到底便宜了谁?主要是两类人:手里本来就有几张大显存显卡或者高配苹果工作站的开发者,以及有敏感数据不能往外发、必须在自家机房里微调模型的企业。

不过,如果你打算把它下载下来,自己搭个台子对外卖接口赚差价,得先看一眼它这次用的许可证。

Mistral 给这个模型挂的是自家的「Mistral 生态开放权重许可证」(Mistral Ecosystem Open-Weight License)。官方管它叫修改过的 MIT 许可证——平时我们在开源世界里见到 MIT,通常允许使用、修改和商用,仍须保留相关许可声明。

但 Mistral 修改的那一刀,正好砍在了做接口生意的商家头上。按照许可条款,下载、修改、微调,甚至企业留在自己内部做商业用途,都是允许的;唯独经营「模型即服务」(Model-as-a-Service,也就是把模型包装成对外付费调用的接口服务)的企业,在商用之前必须去找 Mistral 单独拿一份商业许可。

官方许可允许使用、修改和商用;经营模型调用服务需另获商业许可。 · 图片来源:截图自 Mistral 官方公告,10月30日

看清这条规则就会发现,把模型文件成功下载到硬盘里,跟合法地把它变成一门收费接口生意,完全是两码事。

所以面对这次更新,不同人的划算做法其实很清楚:普通用户和日常写代码的开发者,直接去用降了价的官方接口或托管试用页,省下研究硬件的精力;已经有适合运行的硬件、且有内部定制需求的团队,现在可以动手下载了;而打算把它接进自家平台、对外按量收费的服务商,动手部署前记得先去和 Mistral 谈妥商业授权。

出处(4)
  1. Mistral Large 4:Built for Coders, Trusted by Defenders · Mistral AI
  2. Welcome Le Chonk: Mistral Large 4 on Hugging Face · Hugging Face
  3. Paris-based Mistral releases Le Chonk, a strong coding model that still trails China overall · The Decoder
  4. Mistral-Large-4-1T-A52B模型档案 · Mistral AI

内容有误?告诉我们,核实后会更正,并在这里写明改了什么。

评论

还没有人评论,来写第一条。

发表评论

编辑器加载中…