session://14:29:33
~/ / posts / 2019-06-green-ai.md

训练一个大模型的碳排放,约等于五辆车一生:该谈谈代价了

2019-06-05· 1 min read · [深度思考]
// TL;DR
  • Strubell 等估算:训练 + 调参一个大型 NLP 模型的碳排放可达数十万磅 CO₂。
  • ‘Red AI’(堆算力刷分)正在挤压‘Green AI’(讲效率)的生存空间。
  • 更深的隐忧:算力门槛把中小机构挡在前沿研究门外。

把账算出来

Strubell 等人这篇论文做了件很少有人做的事:估算训练大型 NLP 模型的能耗和碳排放。结论很扎眼——一个大模型从架构搜索到反复调参的全流程,碳排放量可以达到几辆汽车整个生命周期(含制造)的总和。这个数字未必精确,但它第一次把‘scale works’这句口号的隐性成本摆上了台面。

Red AI vs Green AI

论文提出一个尖锐的二分:Red AI——靠堆数据、堆参数、堆算力换 SOTA,论文里却很少报告这背后烧了多少电、多少钱;Green AI——把效率(每瓦特/每美元的性能)也当成一等公民来优化和汇报。当前学术界的激励机制,明显在奖励 Red。

我更担心的其实是公平

碳排放是真问题,但我觉得更深的隐忧是研究的民主化倒退。当刷新 SOTA 的入场券变成几百上千块 GPU,能玩这个游戏的就只剩几家巨头和顶级实验室。大学的小组、发展中地区的研究者、独立开发者,被结构性地挤出了前沿。这会让 AI 的研究方向越来越由‘谁有算力’决定,而不是‘谁有好想法’决定。

这篇论文不会逆转 scale 的潮流,但它种下了一个该长期记住的提醒:每次为‘更大’鼓掌时,顺手问一句——成本谁付?谁被挡在门外?

机器学习行业动态AI安全
cat newsletter.txt

每周一封,<5 分钟读完

把这一周我读过、想过、动手做过的东西,压缩成一封信。订阅者目前 5210+ 人,0 干扰。