session://14:29:34
~/ / posts / 2015-01-fli-open-letter.md

马斯克、霍金都签了名:AI 安全第一次登上头条

2015-01-28· 1 min read · [深度思考]
// TL;DR
  • 数千名研究者联署公开信:AI 研究不仅要追求能力,更要追求“鲁棒且有益”。
  • 马斯克向 FLI 捐 1000 万美元资助 AI 安全研究。
  • 这是 AI 安全第一次以正面、建设性的姿态进入主流视野。

发生了什么

这个月,Future of Life Institute(FLI)发布了一封关于人工智能研究优先级的公开信,签名名单相当豪华:霍金、马斯克,还有一大批正经做 AI 的研究者——Stuart Russell、Yann LeCun、Demis Hassabis 都在列。信的核心诉求其实很朴素:AI 的能力在快速增长,我们应该同时投入研究,确保这些系统是鲁棒的、符合人类利益的。

几天后马斯克跟进,给 FLI 捐了 1000 万美元,专门资助 AI 安全方向的研究项目。对一个之前主要靠哲学家和科幻作家撑场面的领域来说,这是第一笔像样的钱。

为什么值得记一笔

媒体的标题大多在渲染“名人警告天网降临”,但如果你认真读原文,会发现它根本不是悲观主义宣言——它在说“正因为 AI 很有用,我们才要把它做对”。把安全和能力并列为研究目标,而不是对立起来,这个框架日后会变得越来越重要。

我自己的判断:这封信本身不会改变任何算法,但它给“AI 安全”这个词正了名。以后申请经费、开设课程、发表论文,这个方向有了正当性。从产品角度看,任何技术成熟的标志之一,就是开始有人认真讨论它的失效模式。

一个领域开始认真讨论自己的风险,往往说明它真的开始有用了。

人工智能AI安全行业动态
cat newsletter.txt

每周一封,<5 分钟读完

把这一周我读过、想过、动手做过的东西,压缩成一封信。订阅者目前 5210+ 人,0 干扰。