session://14:29:33
~/ / posts / 2023-05-hinton-extinction.md

Hinton 出走与‘灭绝级风险’声明:深度学习的教父,开始害怕自己点的火

2023-05-30· 3 min read · [深度思考]
// TL;DR
  • Hinton 离开 Google,公开表达对 AI 失控、虚假信息、就业冲击的深切忧虑。
  • CAIS 的一句话声明把 AI 风险与‘流行病、核战争’并列,签名阵容空前。
  • 耐人寻味的是:这次拉响警报的,正是造出这些系统的核心人物本身。

5 月,深度学习三巨头之一、反向传播的奠基者、把 Hinton 这个名字和现代 AI 焊在一起的那个人,从他工作了十年的 Google 离职了。理由很罕见:他想毫无顾忌地、不代表任何公司地,谈论 AI 的危险。他在采访里说了句让我记很久的话——他现在对自己一生的工作,有了一部分后悔。

Hinton 担心的不是科幻里的机器人造反。他的忧虑很具体也很技术:第一,数字智能可以无损复制、并行学习、瞬时共享经验,这种‘集体学习’的效率是生物大脑永远比不了的,所以他不再确定‘人类智能一定更优越’这个前提;第二,近在眼前的危害——虚假信息会淹没真相、就业会被大规模冲击;第三,长期看,一个比我们聪明得多、目标又未必和我们一致的东西,我们凭什么觉得能一直控制住它?

一句话的声明,和它背后的重量

月底,AI 安全中心(CAIS)发布了一份极简声明,全文就一句话:‘降低人工智能带来的灭绝风险,应当与流行病、核战争等其他社会规模的风险一道,成为全球的优先事项。’签名的人让人没法当成边缘噪音忽略:Hinton、Bengio(三巨头里的两位)、Demis Hassabis(DeepMind CEO)、Sam Altman(OpenAI CEO)、Dario Amodei(Anthropic CEO)——几乎所有正在造最强模型的人,都签了字。

怎么解读这件‘怪事’

这里有个深刻的悖论,值得盯着看:为什么造这些东西的人,一边全力以赴地把它造得更强,一边又联名说它可能导致人类灭绝?如果真这么危险,为什么不停手?

我能想到的解读有好几层,而且它们可能同时为真。最善意的解读:他们离技术最近,真的看到了外人看不到的、令人不安的趋势线,出于良知必须示警。最犬儒的解读:渲染‘灭绝级风险’恰恰是最好的护城河营销——把自家产品说得能毁灭世界,既抬高了它的份量,又能引导监管朝‘只有我们这种负责任的大公司才配做 AI’的方向走,顺手把开源和小玩家挡在门外(这叫监管俘获)。中间的解读:他们是真心相信风险,但又不相信‘自己停手’能解决问题(反正别人会接着造),于是选择‘一边造一边喊,争取留在牌桌上影响走向’。

对比一下 LeCun(三巨头里没签的那位)的态度就更有意思了:他公开反对这种灭绝叙事,认为这是分散注意力的恐慌。三巨头里两位拉警报、一位泼冷水,这本身就说明,连最懂行的人之间,分歧都大到无法调和。

我的立场:我尊重 Hinton 的真诚,一个 75 岁、功成名就的人没必要靠贩卖恐慌图什么。但我也警惕这套叙事被商业和政治力量挪用——‘灭绝风险’太宏大、太抓眼球,容易把注意力从眼前真实、具体、正在发生的危害(偏见、滥用、失业、信息污染)上移开。把整个 2023 年串起来看:三月那封‘暂停信’撕开的裂缝,到五月已经裂成了关于‘AI 到底是不是生存威胁’的全面交锋。这场争论不会有结论,但它会持续塑造监管、投资和这个行业的自我认知。教父害怕自己点的火,这个画面,本身就是 2023 年最沉重的一帧。

AI安全人工智能行业动态
cat newsletter.txt

每周一封,<5 分钟读完

把这一周我读过、想过、动手做过的东西,压缩成一封信。订阅者目前 5210+ 人,0 干扰。