训练一个大模型的碳排放,约等于五辆车一生:该谈谈代价了
// TL;DR
- Strubell 等估算:训练 + 调参一个大型 NLP 模型的碳排放可达数十万磅 CO₂。
- ‘Red AI’(堆算力刷分)正在挤压‘Green AI’(讲效率)的生存空间。
- 更深的隐忧:算力门槛把中小机构挡在前沿研究门外。
把账算出来
Strubell 等人这篇论文做了件很少有人做的事:估算训练大型 NLP 模型的能耗和碳排放。结论很扎眼——一个大模型从架构搜索到反复调参的全流程,碳排放量可以达到几辆汽车整个生命周期(含制造)的总和。这个数字未必精确,但它第一次把‘scale works’这句口号的隐性成本摆上了台面。
Red AI vs Green AI
论文提出一个尖锐的二分:Red AI——靠堆数据、堆参数、堆算力换 SOTA,论文里却很少报告这背后烧了多少电、多少钱;Green AI——把效率(每瓦特/每美元的性能)也当成一等公民来优化和汇报。当前学术界的激励机制,明显在奖励 Red。
我更担心的其实是公平
碳排放是真问题,但我觉得更深的隐忧是研究的民主化倒退。当刷新 SOTA 的入场券变成几百上千块 GPU,能玩这个游戏的就只剩几家巨头和顶级实验室。大学的小组、发展中地区的研究者、独立开发者,被结构性地挤出了前沿。这会让 AI 的研究方向越来越由‘谁有算力’决定,而不是‘谁有好想法’决定。
这篇论文不会逆转 scale 的潮流,但它种下了一个该长期记住的提醒:每次为‘更大’鼓掌时,顺手问一句——成本谁付?谁被挡在门外?