session://14:29:33
~/ / posts / 2023-03-pause-letter.md

‘暂停六个月’:一封公开信,把整个行业的分裂摆上了台面

2023-03-29· 3 min read · [深度思考]
// TL;DR
  • FLI 公开信呼吁暂停训练‘强于 GPT-4’的系统六个月,联署过万。
  • 支持者(部分):Bengio、马斯克、Harari——担心失控竞速。
  • 反对者:LeCun 等认为是误导性的恐慌,且暂停既不可行也帮不到安全。

GPT-4 发布才两周,Future of Life Institute(还记得吗,2015 年那封 AI 安全公开信也是他们组织的)又发了一封,这次的诉求很激进:呼吁所有 AI 实验室立即暂停训练比 GPT-4 更强大的系统,至少六个月,用这段时间来制定安全规范。短时间内联署破万,签名里有图灵奖得主 Yoshua Bengio、有马斯克、有《人类简史》作者赫拉利。

信不长,核心论证是:我们正在进行一场‘谁也没法控制的竞赛’,在还没搞清楚怎么确保这些系统安全、可控、不被滥用之前,就盲目地把它们越造越强,这是不负责任的。它把 2015 年那种温和的‘我们应该研究安全’,升级成了‘请先停下来’。

比公开信本身更有信息量的,是反对的声音

这封信几乎不可能被执行——没有任何机制能让全球的实验室同时停手,抢跑的人只会闷声往前。但它真正的价值,是把 AI 圈内部本来藏在水面下的世界观分裂,一次性曝光了。围绕该不该暂停,大佬们公开吵了起来,而且吵的根本不是同一个问题:

  • 以 Bengio 为代表的一派:能力涨得比我们理解快,谨慎是美德,哪怕暂停象征意义大于实质,也是个该有的姿态。
  • 以 LeCun 为代表的一派:这就是被科幻吓出来的道德恐慌。担心 GPT-4 的后代会毁灭世界,就像在 1440 年担心印刷术会带来社会动荡——杞人忧天,而且暂停研究只会让透明的好人停下、让不透明的坏人领先。
  • 还有务实的一派(Altman 大致在此):方向上认同要重视安全,但这封信‘缺乏技术细节’、‘暂停’这个药方开错了,真正该做的是把安全研究和能力研究绑在一起推进,而不是把能力研究一刀切停掉。

三种世界观,没有一种是蠢的

我花了点时间想清楚这三派的根本分歧在哪。本质是对‘风险的形状’判断不同。Doomer(暂停派的极端)认为最大风险是‘失控的超级智能’,是悬崖式的、不可逆的,所以宁可慢、宁可错杀;LeCun 这派认为那是被科幻误导的伪风险,真正该管的是当下的具体危害(偏见、滥用、失业),而过度恐慌本身会扼杀一项造福人类的技术;务实派则认为风险是真的但可管理,边发展边治理才是唯一现实的路。

我自己的位置偏务实派,但我越来越觉得,这场争论里最危险的不是任何一方,而是‘把对方当傻子’的姿态。说暂停派是‘卢德分子’和说加速派是‘草菅人命’一样,都是在用站队代替思考。2023 年 3 月这封信没拦住任何一次训练,但它让一件事变得清楚:AI 安全已经不再是一个统一阵营对外的呼吁,而是这个领域内部一道深到见骨的裂缝。这道裂缝,接下来几年只会越裂越大——五月份,它会以更激烈的方式再次爆发。

AI安全行业动态人工智能
cat newsletter.txt

每周一封,<5 分钟读完

把这一周我读过、想过、动手做过的东西,压缩成一封信。订阅者目前 5210+ 人,0 干扰。