session://14:29:33
~/ / posts / 2024-07-llama31-405b.md

Llama 3.1 405B:Meta 把‘前沿级’模型,直接开源了

2024-07-23· 3 min read · [深度思考]
// TL;DR
  • Llama 3.1 405B 是首个公开宣称对标顶级闭源、且开放权重的模型。
  • 扎克伯格发长文《Open Source AI Is the Path Forward》,把开源上升为战略旗帜。
  • 意义:闭源与开源在‘前沿能力’上的差距,从‘代差’缩小到了‘几个月’。

2023 年我写 LLaMA 2 时说,Meta 用开源把对手的核心资产‘商品化’,是一步阳谋。2024 年 7 月,这步棋下到了一个新高度:Llama 3.1 的旗舰版有 4050 亿参数,Meta 直接宣称它在一系列基准上能和当时最强的闭源模型(GPT-4o、Claude 3.5 Sonnet)正面掰手腕——然后,把权重开放下载。

这件事的份量在于一个‘第一次’:在此之前,开源模型再强,大家也默认它和最前沿的闭源旗舰之间存在一个‘代差’——闭源是当季新款,开源是上季打折货。Llama 3.1 405B 第一次让这个代差肉眼可见地坍缩了。前沿能力,不再是几家公司付费 API 的专属,而是任何有足够显卡的人都能下载、部署、拆解、改造的东西。

扎克伯格的檄文,值得逐条看

Meta 没有只发模型,扎克伯格同时发了篇长文,把开源从‘商业策略’抬升为‘价值主张’。他的核心论点大致几条,我觉得每条都站得住,但每条背后也都有 Meta 自己的算盘:

  • 开源对开发者好:不被单一供应商锁定、能私有化部署保护数据、能深度定制、长期成本可控。(顺带:也让大家都离不开 Llama 生态。)
  • 开源对 Meta 好:他不靠卖模型 API 赚钱(他靠社交广告),所以开放模型不损害主业,反而能借社区之力把模型练得更好、把人才和标准聚到自己这边。(经典的‘商品化你的互补品’。)
  • 开源对世界好:他类比 Linux——一开始大家觉得闭源系统更安全,最后开放的 Linux 成了产业基石,因为开放意味着更多双眼睛审查、更难被单一势力垄断。
  • 回应安全质疑:他认为开放比封闭更安全,因为透明可审查、不会让 AI 能力集中到少数玩家手里(这一条争议最大,反对者认为开放权重等于把强能力也送给了恶意行为者)。

它把整个棋盘改成了什么样

回看这条贯穿全程的开源-闭源线:2023 年 2 月 LLaMA 泄露点了火,7 月 LLaMA 2 把火烧成正规军,2024 年 7 月 Llama 3.1 405B 直接把火烧到了城楼上。结果是,大模型的竞争格局被永久改变了——任何想靠‘我的模型比你强一点’收费的商业模式,头上都永远悬着一把开源的剑:你领先的窗口,可能只有几个月,然后一个免费的、差不多好用的开源版本就会出现。

这把我追问了五年的‘护城河’问题,逼到了墙角:当模型本身注定快速商品化,价值就只能往别处沉淀——独有的数据、难以复制的真实场景、把模型变成可靠产品的工程与设计、以及生态位。Meta 用 405B 等于向全行业宣告:别指望靠攥着模型权重过日子了。这对巨头是威胁,对创业者和企业却是巨大的解放——前沿能力第一次成了人人可及的原材料。2024 年的下半场,真正的竞争从‘谁的模型强’,正式转向‘谁能用模型做出别人做不出的东西’。

大模型开源项目行业动态工程实践
cat newsletter.txt

每周一封,<5 分钟读完

把这一周我读过、想过、动手做过的东西,压缩成一封信。订阅者目前 5210+ 人,0 干扰。